There are two important characteris

There are two important characteristics of the Web that generate a scenario in which Web crawling is very
difficult: its large volume and its rate of change, as there is a huge amount of pages being added, changed
and removed every day. Also, network speed has improved less than current processing speeds and storage
capacities. The large volume implies that the crawler can only download a fraction of the Web pages within
a given time, so it needs to prioritize its downloads. The high rate of change implies that by the time the
crawler is downloading the last pages from a site, it is very likely that new pages have been added to the site,
or that pages that have already been updated or even deleted.
Crawling the Web, in a certain way, resembles watching the sky in a clear night: what we see reflects
the state of the stars at different times, as the light travels different distances. What a Web crawler gets is not
a “snapshot” of the Web, because it does not represents the Web at any given instant of time [BYRN99]. The
last pages being crawled are probably very accurately represented, but the first pages that were downloaded
have a high probability of have been changed. This idea is depicted in Figure 2.8

Kết quả (Việt) 1:

Có hai đặc điểm quan trọng của trang Web đó tạo ra một kịch bản trong đó trang Web thu thập dữ liệu là rấtkhó khăn: khối lượng của nó lớn và tốc độ của nó thay đổi, như có một số lượng lớn của các trang được bổ sung, thay đổivà loại bỏ mỗi ngày. Ngoài ra, tốc độ mạng đã cải thiện ít hơn so với hiện tại các tốc độ xử lý và lưu trữnăng lực. Khối lượng lớn ngụ ý rằng các trình thu thập chỉ có thể tải về một phần nhỏ của các trang Web trong vòngmột thời gian nhất định, do đó, nó cần phải ưu tiên cho tải của nó. Mức cao của sự thay đổi ngụ ý rằng theo thời gian nhữngthu thập thông tin tải trang cuối cùng từ một trang web, nó là rất có khả năng trang web mới đã được thêm vào các trang web,hoặc trang web đã được Cập Nhật hoặc thậm chí xóa.Thu thập dữ liệu các trang Web, theo một cách nào đó, tương tự như xem trên bầu trời trong một đêm rõ ràng: những gì chúng ta thấy phản ánhnhà nước của các ngôi sao thời điểm khác nhau, như là ánh sáng đi khoảng cách khác nhau. Những gì một trình thu thập Web được đâumột "bản chụp" Web, bởi vì nó không đại diện cho các trang Web tại bất kỳ ngay lập tức được đưa ra thời gian [BYRN99]. Cáccuối trang đang được thu thập thông tin có thể rất chính xác đại diện, nhưng các trang web đầu tiên mà đã được tải vềcó một xác suất cao của đã được thay đổi. Ý tưởng này được mô tả trong hình 2.8

Kết quả (Việt) 3:

Có hai tính năng quan trọng, tạo ra một cảnh, các trang mạng bò là rấtKhó khăn của công suất lớn: nó và nó thay đổi tỷ lệ, bởi vì có rất nhiều trang bị thêm, thay đổi rồi.Và gỡ bỏ mỗi ngày.Bên cạnh đó, tốc độ xử lý hiện có mạng lưới hơn và cải thiện tốc độ lưu trữKhả năng.Khối lượng lớn. Có nghĩa là, chỉ có thể tải về loài bò sát trong một phần nhỏ của trang web.Một thời điểm, vì vậy nó cần ưu tiên được tải về.Có nghĩa là thời gian cao tỷ lệ thay đổi thay đổiLoài bò sát là từ một trang web tải trang cuối cùng, rất có thể là trang mới được thêm vào trên trang web,Hay đã cập nhật hay thậm chí đã gỡ bỏ các trang đó.Mạng lưới của bò, ở một mức độ nào đó, như trong một buổi tối đẹp trời nhìn lên bầu trời: chúng ta thấy phản ánhThời gian khác, trạng thái của một ngôi sao ở khoảng cách, vì ánh sáng khác nhau.Một mạng lưới đã có được không phải là bò sátMột trang web "chụp ảnh", bởi vì nó không đại diện cho ở bất cứ thời điểm byrn99] [tức thời của mạng.Cái nàyBị chụp trang cuối cùng có thể rất chính xác, nghĩa là, nhưng tải trang đầu tiên.Có xác suất rất cao đã bị thay đổi.Ý tưởng này là như đồ 2.8 đã si - chem.