Each of the B back queues maintains

Each of the B back queues maintains the following invariants: (i) it is nonempty while the crawl is in progress and (ii) it only contains URLs from asinglehost.1 An auxiliary table T (Figure20.4)is used to maintain the mapping from hosts to back queues. Whenever a back queue is empty and is being refilled from a front queue, table T must be updated accordingly. In addition, we maintain a heap with one entry for each back queue, the entry being theear liest timete at which the host corresponding to that queue can be contacted again. A crawler thread requesting a URL from the frontier extracts the root of this heap and (if necessary) waits until the corresponding time entry te. It then takes the URL u at the head of the back queue j corresponding to the extracted heap root, and proceeds to fetch the URL u. After fetching u, the calling thread checks whether j is empty. If so, it picks a front queue and extracts from its head a URL v. The choice of front queue is biased (usually by a random process) toward queues of higher priority, ensuring that URLs of high priority flow more quickly into the back queues.We examine v to check whether there is already a back queue holding URLs from its host. If so, v is added to that queue and we reach back to the front queues to find another candidate URL for insertion into the now-empty queue j. This process continues until j is nonempty again. In any case, the thread inserts a heap entry for j with a new earliest time te based on the properties of the URL in j that was last fetched (such as when its host was last contacted as well as the time taken for the last fetch), then continues with its processing. For instance, the new entry te could be the current time plus ten times the last fetch time. The number of front queues, together with the policy of assigning priorities and picking queues, determines the priority properties we wish to build into the system. The number of back queues governs the extent to which we can keep all crawl threads busy while respecting politeness. The designers of Mercator recommend a rough rule of three times as many back queues as crawler threads.

Kết quả (Việt) 1:

Mỗi người trong hàng đợi trở lại B duy trì invariants sau: (i) nó là nonempty trong khi thu thập dữ liệu tiến hành và (ii) nó chỉ chứa URL từ asinglehost.1 một bảng phụ trợ T (Figure20.4) được sử dụng để duy trì ánh xạ từ các máy chủ để trở lại hàng đợi. Bất cứ khi nào một hàng đợi trở lại là trống rỗng, và đang là refilled từ một hàng đợi trước bảng T phải được Cập Nhật cho phù hợp. Ngoài ra, chúng tôi duy trì một đống với một mục nhập cho mỗi hàng đợi trở lại, các mục nhập là theear liest timete mà tại đó các máy chủ tương ứng với hàng đợi mà có thể liên lạc lại. Một chủ đề thu thập thông tin yêu cầu một URL từ biên giới chất chiết xuất từ gốc rễ của đống này và (nếu cần thiết) chờ đợi cho đến khi các mục nhập thời gian tương ứng te. Nó sau đó mất URL u ở phần đầu của j trở lại hàng đợi tương ứng với gốc trích xuất đống, và tiền để lấy URL u. Sau khi tải u, các chủ đề gọi kiểm tra cho dù j là sản phẩm nào. Nếu vậy, nó chọn một hàng đợi trước và chất chiết xuất từ đầu một URL v. Sự lựa chọn hàng chờ trước thiên vị (thường là do một quá trình ngẫu nhiên) đối với hàng đợi của ưu tiên cao hơn, đảm bảo rằng URL của flow ưu tiên cao hơn một cách nhanh chóng vào hàng đợi trở lại. Chúng tôi kiểm tra v để kiểm tra xem đã có một hàng đợi trở lại nắm giữ URL từ máy chủ của nó. Nếu vậy, v được thêm vào hàng đợi đó và chúng tôi đạt được quay lại hàng đợi trước để nhiều một ứng cử viên URL cho chèn vào hàng đợi bây giờ có sản phẩm nào j. Quá trình này tiếp tục cho đến khi j là nonempty một lần nữa. Trong bất kỳ trường hợp nào, các chủ đề chèn một đống mục cho j với một thời gian sớm nhất mới te dựa vào các đặc tính của URL trong j mà cuối được tải về (chẳng hạn như khi chủ của nó đã được cuối liên lạc cũng như thời gian thực hiện để tìm nạp cuối), sau đó tiếp tục với chế biến của nó. Ví dụ, các mục nhập mới te có thể là thời gian hiện tại cộng với mười lần tìm nạp lần. Số lượng mặt hàng đợi, cùng với chính sách gán ưu tiên và chọn hàng đợi, xác định các thuộc tính ưu tiên, chúng tôi mong muốn xây dựng vào hệ thống. Số lượng mặt hàng đợi chi phối trong phạm vi mà chúng tôi có thể giữ cho chủ đề thu thập dữ liệu bận rộn trong khi tôn trọng lịch sự. Các nhà thiết kế của Mercator khuyên bạn nên một quy tắc thô của hàng đợi trở lại ba lần như nhiều như thu thập thông tin chủ đề.

Kết quả (Việt) 2:

Mỗi phòng trong số hàng đợi B lại duy trì bất biến sau đây: (i) nó là khác rỗng trong khi thu thập thông tin được tiến hành và (ii) chỉ chứa các URL từ asinglehost.1 Một bảng phụ trợ T (Figure20.4) được sử dụng để duy trì các bản đồ từ máy chủ để sao hàng đợi. Bất cứ khi nào một hàng đợi lại là trống rỗng và đang được tái fi lled từ một hàng đợi phía trước, bảng T phải được cập nhật cho phù hợp. Ngoài ra, chúng tôi duy trì một đống với một mục nhập cho mỗi hàng đợi trở lại, các mục nhập được theear liest timete mà tại đó các máy chủ tương ứng với hàng đợi có thể được liên lạc lại. Một sợi xích yêu cầu một URL từ biên giới chất chiết xuất từ ​​rễ của heap này và (nếu cần thiết) đợi cho đến khi tương ứng thời gian nhập te. Sau đó phải mất URL u ở đầu hàng đợi j lại tương ứng với các gốc đống chiết xuất, và tiền thu được để lấy URL u. Sau khi lấy u, kiểm tra thread gọi dù j là trống rỗng. Nếu vậy, nó chọn một hàng đợi phía trước và các chiết xuất từ ​​đầu của nó một v URL. Sự lựa chọn của hàng đợi phía trước là thiên vị (thường là do một quá trình ngẫu nhiên) đối với hàng đợi ưu tiên cao hơn, đảm bảo rằng các URL ưu tiên cao ow FL nhanh hơn vào các hàng đợi trở lại Chúng tôi kiểm tra v để kiểm tra xem đã có một hàng đợi trở lại cầm URL từ máy chủ của nó. Nếu vậy, v được thêm vào hàng đợi đó và chúng tôi đạt lại cho các hàng đợi phía trước để fi nd một URL ứng cử viên để chèn vào hàng đợi j bây giờ trống rỗng. Quá trình này tiếp tục cho đến j là khác rỗng nữa. Trong mọi trường hợp, các chủ đề chèn một mục heap cho j với thời gian sớm nhất mới te dựa vào tính chất của các URL trong j mà lần cuối vời (như khi chủ của nó đã liên lạc qua cũng như thời gian thực hiện cho người cuối cùng lấy ), sau đó tiếp tục với chế biến của nó. Ví dụ, các te nhập mới có thể là thời gian hiện tại cộng với mười lần cuối cùng lấy thời gian. Số hàng phía trước, cùng với chính sách phân bổ các chỉ ưu tiên và chọn hàng đợi, xác định các tính chất ưu tiên, chúng tôi muốn xây dựng thành hệ thống. Số hàng lại điều chỉnh mức độ mà chúng ta có thể giữ tất cả các chủ đề thu thập dữ liệu bận rộn trong khi tôn trọng sự lịch sự. Các nhà thiết kế của Mercator đề nghị một quy tắc thô của ba lần như nhiều hàng đợi trở lại như bài xích.