Features a crawler should provideDi

Features a crawler should provide
Distributed: The crawler should have the ability to execute in a distributed fashion across multiple machines.
Scalable: The crawler architecture should permit scaling up the crawl rate by adding extra machines and bandwidth.
Performance and efficiency: The crawl system should make efficient use of various system resources including processor, storage, and network bandwidth.
Quality: Given that a significant fraction of all web pages are of poor util¬ity for serving user query needs, the crawler should be biased toward fetching "useful" pages first.
Freshness: In many applications, the crawler should operate in continu¬ous mode: It should obtain fresh copies of previously fetched pages. A search engine crawler, for instance, can thus ensure that the search en¬gine's index contains a fairly current representation of each indexed web page. For such continuous crawling, a crawler should be able to crawl a page with a frequency that approximates the rate of change of that page.
Extensible: Crawlers should be designed to be extensible in many ways - to cope with new data formats, new fetch protocols, and so on. This demands that the crawler architecture be modular.

Kết quả (Việt) 1:

Các tính năng một thu thập thông tin sẽ cung cấpPhân phối: Thu thập nên có khả năng thực hiện trong một thời trang phân phối trên nhiều máy tính.Khả năng mở rộng: Kiến trúc thu thập thông tin nên cho phép mở rộng tỷ lệ thu thập dữ liệu bằng cách thêm phụ máy và băng thông.Hiệu suất và hiệu quả: Hệ thống thu thập dữ liệu sẽ làm cho hiệu quả sử dụng tài nguyên hệ thống khác nhau bao gồm bộ vi xử lý, lưu trữ và băng thông mạng.Chất lượng: Cho rằng một phần đáng kể của tất cả các trang web của người nghèo util¬ity để phục vụ người sử dụng truy vấn nhu cầu, các trình thu thập sẽ được thiên vị về hướng lấy "hữu ích" trang đầu tiên.Thể trạng: Trong nhiều ứng dụng, các trình thu thập nên hoạt động trong chế độ continu¬ous: nó phải có được các bản sao tươi của trang đã tải trước đó. Một tìm kiếm trình thu thập, ví dụ, có thể do đó đảm bảo rằng chỉ số tìm en¬gine có một đại diện khá hiện tại của mỗi trang web được lập chỉ mục. Cho thu thập liên tục như vậy, một trình thu thập sẽ có thể thu thập thông tin một trang với một tần số xấp xỉ mức độ thay đổi của trang đó.Mở rộng: Thu thập thông tin cần được thiết kế để được mở rộng trong nhiều cách - đối phó với định dạng dữ liệu mới, mới lấy giao thức, và như vậy. Điều này đòi hỏi rằng thu thập thông tin kiến trúc được mô-đun.

Kết quả (Việt) 2:

Đặc trưng với bánh xích nên cung cấp
phân phối:. Crawler cần phải có khả năng thực hiện trong một thời trang phân phối trên nhiều máy
Scalable: Kiến trúc bánh xích nên cho phép mở rộng quy mô tỷ lệ thu thập dữ liệu bằng cách thêm máy phụ và băng thông.
Hiệu suất và hiệu quả: Hệ thống thu thập dữ liệu nên sử dụng hiệu quả các nguồn tài nguyên hệ thống khác nhau bao gồm bộ vi xử lý, lưu trữ và băng thông mạng.
Chất lượng: Cho rằng một phần đáng kể của tất cả các trang web là của util¬ity nghèo để phục vụ nhu cầu truy vấn của người dùng, bánh xích nên thiên về lấy trang "hữu ích" đầu tiên.
Tần: Trong nhiều ứng dụng, thu thập thông tin cần hoạt động ở chế độ continu¬ous: Nó phải có được bản sao tươi của các trang được tải trước đây. Một công cụ tìm kiếm thu thập thông tin, ví dụ, do đó có thể đảm bảo rằng chỉ mục tìm kiếm của en¬gine chứa một đại diện khá hiện hành của mỗi trang web được lập chỉ mục. Đối với bò liên tục như vậy, một trình thu thập sẽ có thể thu thập dữ liệu một trang với một tần số xấp xỉ với tốc độ thay đổi của trang đó.
Extensible: Crawlers nên được thiết kế để có thể mở rộng bằng nhiều cách - để đối phó với các định dạng dữ liệu mới, lấy giao thức mới , và như vậy. Điều này đòi hỏi các kiến trúc thu thập được mô đun.