Two major jobs– Downloading pages–

Two major jobs
– Downloading pages
– Finding URLs
• Frontier – a request queue of URLs that the crawler needs
to download
– May be organized as a standard queue
– Alternatively, more important pages can be moved to the front of
the list so that they can be downloaded earlier
• Starting point: seeds – a set of URLs
– Putting all those seed URLs into the frontier
– Once a page is downloaded, it is parsed to find link tags
– If the crawler finds a new URL that has not been seen before or the
crawled version is outdated, add the URL into the frontier

Kết quả (Việt) 1:

Hai công việc lớn-Tải về trang-Việc tìm kiếm URL• Frontier-một hàng đợi yêu cầu các URL thu thập nhu cầuđể tải về-Có thể được tổ chức thành một hàng đợi tiêu chuẩn-Ngoài ra, quan trọng hơn trang có thể được di chuyển vào phía trước củadanh sách như vậy rằng họ có thể được tải về trước đó• Bắt đầu từ điểm: hạt giống-một tập hợp các URL-Đưa tất cả các hạt giống URL vào biên giới-Một khi một trang được tải về, nó phân tích cú pháp để tìm liên kết Download-Nếu thu thập công cụ tìm thấy một URL mới đã không được nhìn thấy trước khi hoặcthu thập thông tin Phiên bản là lỗi thời, thêm URL vào biên giới

Kết quả (Việt) 2:

Hai công việc lớn
- trang tải
- Finding URL
• Frontier - một hàng đợi yêu cầu của URL mà trình thu thập cần
tải
- Có thể được tổ chức như một hàng đợi chuẩn
- Ngoài ra, các trang quan trọng hơn có thể được di chuyển vào phía trước của
danh sách để họ có thể được tải về trước đó
• Bắt đầu từ điểm: hạt - một tập hợp các URL
- Đưa tất cả các URL hạt giống vào biên giới
- Khi một trang được tải về, nó được phân tích để tìm thẻ liên kết
- Nếu các trình thu thập tìm thấy một URL mới mà đã không được nhìn thấy trước hoặc các
phiên bản được thu thập thông là lỗi thời, thêm URL vào biên giới