Web crawlingis the process by which

Web crawlingis the process by which we gather pages from the Web to index
them and support a search engine. The objective of crawling is to quickly and
efficiently gather as many useful web pages as possible, together with the
link structure that interconnects them. In Chapter 19, we studied the complexities of the Web stemming from its creation by millions of uncoordinated
individuals. In this chapter, we study the resulting difficulties for crawling
the Web. The focus of this chapter is the component shown in Figure19.7as
web crawler; it is sometimes referred to as a spider. web crawler
spider
The goal of this chapter is not to describe how to build the crawler for
a full-scale commercial web search engine. We focus instead on a range of
issues that are generic to crawling from the student project scale to substantial research projects. We begin (Section20.1.1) by listing desiderata for web
crawlers, and then discuss in Section20.2how each of these issues is addressed. The remainder of this chapter describes the architecture and some
implementation details for a distributed web crawler that satisfies these features. Section20.3discusses distributing indexes across many machines for
a web-scale implementation.

Kết quả (Việt) 1:

Web crawlingis trình bởi mà chúng tôi thu thập các trang từ trang Web lập chỉ mụchọ và hỗ trợ công cụ tìm kiếm. Mục tiêu của thu thập dữ liệu là một cách nhanh chóng vàhiệu quả thu thập như nhiều trang web hữu ích nhất có thể, cùng với cáccấu trúc liên kết liên kết nối chúng. Trong chương 19, chúng tôi nghiên cứu sự phức tạp của Web bắt nguồn từ thành lập bởi hàng triệu uncoordinatedcá nhân. Trong chương này, chúng tôi nghiên cứu những khó khăn kết quả cho bòTrang Web. Trọng tâm của chương này là thành phần Hiển thị trong Figure19.7asweb thu thập thông tin; nó đôi khi được gọi là một con nhện. thu thập thông tin trang webnhệnMục tiêu của chương này là không mô tả làm thế nào để xây dựng thu thập thông tin chocông cụ tìm kiếm web thương mại quy mô đầy đủ một. Chúng tôi tập trung thay vào đó trên một phạm vi củavấn đề chung để thu thập từ quy mô dự án sinh viên cho các dự án nghiên cứu đáng kể. Chúng tôi bắt đầu (Section20.1.1) theo danh sách desiderata cho webthu thập thông tin, và sau đó thảo luận Section20.2how mỗi người trong số những vấn đề này được giải quyết. Phần còn lại của chương này mô tả các kiến trúc và một sốthực hiện các chi tiết cho một trình thu thập web phân phối mà đáp ứng các tính năng này. Section20.3discusses phân phối lập chỉ mục trên nhiều máymột thực hiện quy mô web.

Kết quả (Việt) 2:

Web crawlingis quá trình mà chúng tôi thu thập các trang từ trang Web để chỉ
họ và hỗ trợ một công cụ tìm kiếm. Mục tiêu của bò là một cách nhanh chóng và
hiệu quả thu thập càng nhiều các trang web hữu ích nhất có thể, cùng với các
cấu trúc liên kết kết nối giữa chúng. Trong chương 19, chúng ta đã nghiên cứu sự phức tạp của các Web bắt nguồn từ sự sáng tạo của mình bằng hàng triệu thiếu sự phối hợp
các cá nhân. Trong chương này, chúng ta nghiên cứu những khó khăn do cho bò
Web. Trọng tâm của chương này là các thành phần hiển thị trong Figure19.7as
web crawler; đôi khi nó được gọi là một con nhện. web crawler
nhện
Mục tiêu của chương này không phải là để mô tả làm thế nào để xây dựng các trình thu thập cho
một quy mô đầy đủ công cụ tìm kiếm web thương mại. Thay vào đó, chúng tôi tập trung vào một loạt các
vấn đề mang tính tổng quát để thu thập dữ liệu từ quy mô dự án sinh viên cho các dự án nghiên cứu đáng kể. Chúng ta bắt đầu (Section20.1.1) bằng cách liệt kê ước nguyện cho web
crawler, và sau đó thảo luận trong Section20.2how mỗi vấn đề được giải quyết. Phần còn lại của chương này mô tả kiến trúc và một số
chi tiết thực hiện cho một trình thu thập web phân phối đáp ứng các tính năng này. Section20.3discusses phân phối các chỉ số trên nhiều máy cho
một thực hiện web quy mô.