20.1 OverviewWeb crawling is the pr

20.1 Overview
Web crawling is the process by which we gather pages from the Web to index themandsupportasearchengine.Theobjectiveofcrawlingistoquicklyand efficiently gather as many useful web pages as possible, together with the link structure that interconnects them. In Chapter 19, we studied the complexitiesoftheWebstemmingfromitscreationbymillionsofuncoordinated individuals. In this chapter, we study the resulting difficulties for crawling the Web. The focus of this chapter is the component shown in Figure 19.7 as web crawler; it is sometimes referred to as a spider.web crawler spider The goal of this chapter is not to describe how to build the crawler for a full-scale commercial web search engine. We focus instead on a range of issues that are generic to crawling from the student project scale to substantial research projects. We begin (Section 20.1.1) by listing desiderata for web crawlers, and then discuss in Section 20.2 how each of these issues is addressed. The remainder of this chapter describes the architecture and some implementation details for a distributed web crawler that satisfies these features. Section 20.3 discusses distributing indexes across many machines for a web-scale implementation.

Kết quả (Việt) 1:

20,1 tổng quanWeb thu thập dữ liệu là quá trình mà chúng tôi thu thập các trang từ trang Web lập chỉ mục themandsupportasearchengine. Theobjectiveofcrawlingistoquicklyand efficiently thu thập như nhiều trang web hữu ích nhất có thể, cùng với cấu trúc liên kết liên kết nối chúng. Trong chương 19, chúng tôi nghiên cứu các cá nhân complexitiesoftheWebstemmingfromitscreationbymillionsofuncoordinated. Trong chương này, chúng tôi nghiên cứu difficulties kết quả cho thu thập dữ liệu các trang Web. Trọng tâm của chương này là thành phần Hiển thị trong hình 19.7 như web thu thập thông tin; nó đôi khi được gọi đến như một con nhện thu thập spider.web mục đích của chương này là không để mô tả làm thế nào để xây dựng thu thập thông tin cho công cụ tìm kiếm web thương mại quy mô đầy đủ. Chúng tôi thay vì tập trung vào một loạt các vấn đề chung để thu thập từ quy mô dự án sinh viên cho các dự án nghiên cứu đáng kể. Chúng tôi bắt đầu (phần 20.1.1) theo danh sách desiderata cho trình thu thập web, và sau đó thảo luận trong phần 20,2 như thế nào mỗi người trong số những vấn đề này được giải quyết. Phần còn lại của chương này mô tả các kiến trúc và thực hiện một số chi tiết cho một trình thu thập web phân phối satisfies mà các tính năng này. Phần 20.3 thảo luận về chỉ số phân phối trên nhiều máy một thực hiện quy mô web.

Kết quả (Việt) 2:

20.1 Tổng quan về
Web crawling là quá trình mà chúng tôi thu thập các trang từ trang Web để chỉ số themandsupportasearchengine.Theobjectiveofcrawlingistoquicklyand ef fi ciently thu thập càng nhiều các trang web hữu ích nhất có thể, cùng với các cấu trúc liên kết kết nối giữa chúng. Trong chương 19, chúng ta đã nghiên cứu cá nhân complexitiesoftheWebstemmingfromitscreationbymillionsofuncoordinated. Trong chương này, chúng ta nghiên cứu dẫn đến những khó khăn fi cho bò Web. Trọng tâm của chương này là phần thể hiện trong hình 19.7 như web crawler; đôi khi nó được gọi là một con nhện spider.web bánh xích Mục tiêu của chương này không phải là để mô tả làm thế nào để xây dựng các trình thu thập cho một quy mô đầy đủ công cụ tìm kiếm web thương mại. Thay vào đó, chúng tôi tập trung vào một loạt các vấn đề mang tính tổng quát để thu thập dữ liệu từ quy mô dự án sinh viên cho các dự án nghiên cứu đáng kể. Chúng ta bắt đầu (Phần 20.1.1) bằng cách liệt kê ước nguyện cho trình thu thập web, và sau đó thảo luận trong mục 20.2 như thế nào mỗi vấn đề được giải quyết. Phần còn lại của chương này mô tả kiến trúc và một số chi tiết thực hiện cho một trình thu thập web phân phối mà Satis fi es các tính năng này. Mục 20.3 thảo luận về phân phối các chỉ số trên các máy tính để thực hiện một web quy mô.