Certain housekeeping tasks are typi

Certain housekeeping tasks are typically performed by a dedicated thread. This thread is generally quiescent except that it wakes up once every few seconds to log crawl progress statistics (URLs crawled, frontier size, etc.), decide whether to terminate the crawl, or (once every few hours of crawling) checkpoint the URL frontier) is committed to disk. In the event of a catastrophic crawler failure, the crawl is restarted from the most recent checkpoint.

Kết quả (Việt) 2:

Một số nhiệm vụ Dọn dẹp thường được thực hiện bởi một thread chuyên dụng. Chủ đề này nói chung là hoạt động gì ngoại trừ việc nó thức dậy mỗi vài giây một lần để đăng nhập số liệu thống kê tiến độ thu thập dữ liệu (URL bò, kích thước biên giới, vv), quyết định chấm dứt việc thu thập dữ liệu, hoặc (mỗi vài giờ một lần của bò) trạm kiểm soát biên giới URL ) cam kết vào đĩa. Trong trường hợp của một sự thất bại thảm khốc trình thu thập, thu thập dữ liệu được khởi động lại từ các trạm kiểm soát gần đây nhất.