Features a crawler must provideWe l

Features a crawler must provide
We list the desiderata for web crawlers in two categories: features that web crawlers must provide, followed by features they should provide.
Robustness: The Web contains servers that create spider traps, which are generators of web pages that mislead crawlers into getting stuck fetch¬ing an infinite number of pages in a particular domain. Crawlers must be designed to be resilient to such traps. Not all such traps are malicious; some are the inadvertent side effect of faulty website development.
Politeness: Web servers have both implicit and explicit policies regulating the rate at which a crawler can visit them. These politeness policies must be respected.

Kết quả (Việt) 2:

Tính năng một trình thu thập phải cung cấp
Chúng tôi liệt kê các ước nguyện cho trình thu thập web trong hai loại: các tính năng mà trình thu thập web phải cung cấp, tiếp theo là tính năng mà họ cần cung cấp.
Mạnh mẽ: The Web chứa các máy chủ tạo ra bẫy nhện, đó là máy phát điện của các trang web đó lừa crawlers thành bị mắc kẹt fetch¬ing một số lượng vô hạn của các trang trong một lĩnh vực cụ thể. Crawlers phải được thiết kế để chống chịu được các bẫy như vậy. Không phải tất cả các bẫy như vậy là độc hại; một số là các tác dụng phụ vô tình bị lỗi trang web phát triển.
lịch sự: máy chủ Web có cả những chính sách tiềm ẩn và rõ ràng điều chỉnh tốc độ mà một trình thu thập có thể truy cập chúng. Các chính sách này lịch sự phải được tôn trọng.