4.3.1 A Motivating ExampleAgain let

4.3.1 A Motivating Example
Again let us start with a running example that illustrates the problem and what we can do about it. Suppose we have a set S of one billion allowed email addresses – those that we will allow through because we believe them not to be spam. The stream consists of pairs: an email address and the email itself. Since the typical email address is 20 bytes or more, it is not reasonable to store S in main memory. Thus, we can either use disk accesses to determine whether or not to let through any given stream element, or we can devise a method that requires no more main memory than we have available, and yet will filter most of the undesired stream elements. Suppose for argument’s sake that we have one gigabyte of available main memory. In the technique known as Bloom filtering, we use that main memory as a bit array. In this case, we have room for eight billion bits, since one byte equals eight bits. Devise a hash function h from email addresses to eight billion buckets. Hash each member of S to a bit, and set that bit to 1. All other bits of the array remain 0. Since there are one billion members of S, approximately 1/8th of the bits will be 1. The exact fraction of bits set to 1 will be slightly less than 1/8th, because it is possible that two members of S hash to the same bit. We shall discuss the exact fraction of 1’s in Section 4.3.3. When a stream element arrives, we hash its email address. If the bit to which that email address hashes is 1, then we let the email through. But if the email address hashes to a 0, we are certain that the address is not in S, so we can drop this stream element. Unfortunately, some spam email will get through. Approximately 1/8th of the stream elements whose email address is not in S will happen to hash to a bit whose value is 1 and will be let through. Nevertheless, since the majority of emails are spam (about 80% according to some reports), eliminating 7/8th of the spam is a significant benefit. Moreover, if we want to eliminate every spam, we need only check for membership in S those good and bad emails that get through the filter. Those checks will require the use of secondary memory to access S itself. There are also other options, as we shall see when we study the general Bloom-filtering technique. As a simple example, we could use a cascade of filters, each of which would eliminate 7/8th of the remaining spam.

Kết quả (Việt) 1:

4.3.1 một ví dụ Motivating
một lần nữa cho chúng tôi bắt đầu với một ví dụ chạy minh họa vấn đề và những gì chúng tôi có thể làm gì về nó. Giả sử chúng tôi có một bộ S của một tỷ cho phép địa chỉ email-những người mà chúng tôi sẽ cho phép thông qua bởi vì chúng tôi tin rằng chúng không phải là thư rác. Dòng bao gồm cặp: một địa chỉ email và email chính nó. Kể từ khi địa chỉ email điển hình là 20 byte trở lên, nó không phải là hợp lý để cửa hàng S trong bộ nhớ chính. Vì vậy, chúng tôi có thể hoặc truy cập đĩa sử dụng để xác định có hay không để cho phép thông qua bất kỳ yếu tố nhất định dòng, hoặc chúng tôi có thể đưa ra một phương pháp yêu cầu bộ nhớ chính không có nhiều hơn chúng tôi đã có sẵn, và sẽ được filter hầu hết các yếu tố không mong muốn dòng. Giả sử cho vì lợi ích của đối số mà chúng tôi có một gigabyte của bộ nhớ chính có sẵn. Kỹ thuật được gọi là nở filtering, chúng tôi sử dụng bộ nhớ chính điều đó như là một mảng chút. Trong trường hợp này, chúng tôi có chỗ cho tám tỷ bit, kể từ khi một byte bằng 8 bit. Đưa ra một hàm băm h từ địa chỉ email để tám tỷ thùng. Băm mỗi thành viên của S để một chút, và thiết lập mà bit để 1. Tất cả các bit khác của mảng vẫn 0. Kể từ khi có một tỷ thành viên của S, khoảng 1/8 của các bit sẽ là 1. Các phần chính xác của bit thiết lập để 1 sẽ một chút ít hơn 1/8, bởi vì nó có thể rằng hai thành viên của S băm để cùng một chút. Chúng tôi sẽ thảo luận về các phần chính xác của 1 trong phần 4.3.3. Khi một yếu tố dòng đến, chúng tôi băm địa chỉ thư điện tử của nó. Nếu các bit mà có địa chỉ email băm là 1, sau đó chúng tôi cho email thông qua. Nhưng nếu địa chỉ email nhập cho một 0, chúng ta có chắc rằng địa chỉ là không thuộc S, vì vậy chúng tôi có thể thả nguyên tố dòng này. Thật không may, một số thư rác sẽ nhận được thông qua. Khoảng 1/8 của các yếu tố stream có địa chỉ email không phải là tại S sẽ xảy ra với băm để một chút là có giá trị là 1 và sẽ được cho phép thông qua. Tuy nhiên, kể từ khi phần lớn các email được thư rác (khoảng 80% theo một số báo cáo), loại bỏ 7/8 số thư rác là một significant chứa. Hơn nữa, nếu chúng ta muốn loại bỏ mọi thư rác, chúng tôi cần chỉ kiểm tra cho các thành viên trong S những email tốt và xấu có được thông qua filter. Kiểm tra những sẽ phải sử dụng bộ nhớ thứ cấp để truy cập S chính nó. Cũng có những lựa chọn khác, như chúng ta sẽ thấy khi chúng tôi nghiên cứu kỹ thuật nở-filtering chung. Như là một ví dụ đơn giản, chúng tôi có thể sử dụng một thác của các filters, mỗi trong số đó sẽ loại bỏ 7/8 của thư rác còn lại.

Kết quả (Việt) 2:

4.3.1 Một Thúc đẩy Ví dụ
Một lần nữa chúng ta hãy bắt đầu với một ví dụ chạy minh họa các vấn đề và những gì chúng ta có thể làm gì về nó. Giả sử chúng ta có một tập S của một tỷ địa chỉ email cho phép - những người chúng tôi sẽ cho phép thông qua bởi vì chúng tôi tin rằng họ không phải là thư rác. Dòng bao gồm các cặp: một địa chỉ email và email riêng của mình. Kể từ khi địa chỉ email điển hình là 20 byte hoặc nhiều hơn, nó không phải là hợp lý để lưu trữ S trong bộ nhớ chính. Do đó, chúng ta có thể sử dụng một trong hai đĩa truy cập để xác định có hay không để thông qua bất kỳ yếu tố dòng nhất định, hoặc chúng ta có thể đưa ra một phương pháp mà không đòi hỏi bộ nhớ chính nhiều hơn chúng ta đã có sẵn, nhưng sẽ lọc hầu hết các yếu tố dòng không mong muốn. Giả sử vì lợi ích của đối số mà chúng ta có một gigabyte có sẵn bộ nhớ chính. Trong kỹ thuật gọi là Bloom lọc, chúng tôi sử dụng bộ nhớ chính như là một mảng bit. Trong trường hợp này, chúng tôi có chỗ cho tám tỷ bit, vì một byte bằng tám bit. Đưa ra một hàm băm h từ các địa chỉ email để tám tỷ thùng. Băm mỗi thành viên của S để một chút, và thiết lập bit 1. Tất cả các bit khác của mảng còn 0. Kể từ khi có một tỷ thành viên của S, khoảng 1/8th của các bit sẽ được 1. Các phần chính xác của các bit thiết lập để 1 sẽ ít hơn 1/8th, bởi vì nó có thể là hai thành viên của S băm để các bit tương tự. Chúng ta sẽ thảo luận về các phần chính xác của 1 trong phần 4.3.3. Khi một yếu tố dòng đến, chúng ta băm địa chỉ email của mình. Nếu bit mà địa chỉ email băm là 1, sau đó chúng ta để cho email thông qua. Nhưng nếu địa chỉ email băm vào một 0, chúng tôi chắc chắn rằng địa chỉ không có trong S, vì vậy chúng tôi có thể thả yếu tố dòng này. Thật không may, một số thư rác sẽ được thông qua. Khoảng 1/8th của các yếu tố dòng có địa chỉ email không phải là trong S sẽ xảy ra để băm để một chút có giá trị là 1 và sẽ được cho qua. Tuy nhiên, vì phần lớn các email là thư rác (khoảng 80% theo một số báo cáo), loại bỏ 7/8th của thư rác là một lợi ích đáng kể. Hơn nữa, nếu chúng ta muốn loại bỏ tất cả các thư rác, chúng ta chỉ cần kiểm tra các thành viên trong S những email tốt và xấu mà có được thông qua các bộ lọc. Những kiểm tra sẽ yêu cầu sử dụng bộ nhớ thứ cấp để truy cập S chính nó. Ngoài ra còn có lựa chọn khác, như chúng ta sẽ thấy khi chúng ta nghiên cứu các kỹ thuật lọc Bloom nói chung. Như là một ví dụ đơn giản, chúng ta có thể sử dụng một chuỗi các bộ lọc, mỗi trong số đó sẽ loại bỏ 7/8th của thư rác còn lại.