4.5.5 Dealing With Infinite StreamsT

4.5.5 Dealing With Infinite Streams
Technically, the estimate we used for second and higher moments assumes that n, the stream length, is a constant. In practice, n grows with time. That fact, by itself, doesn’t cause problems, since we store only the values of variables and multiply some function of that value by n when it is time to estimate the moment. If we count the number of stream elements seen and store this value, which only requires logn bits, then we have n available whenever we need it. A more serious problem is that we must be careful how we select the positions for the variables. If we do this selection once and for all, then as the stream gets longer, we are biased in favor of early positions, and the estimate of the moment will be too large. On the other hand, if we wait too long to pick positions, then early in the stream we do not have many variables and so will get an unreliable estimate. The proper technique is to maintain as many variables as we can store at all times, and to throw some out as the stream grows. The discarded variables are replaced by new ones, in such a way that at all times, the probability of picking any one position for a variable is the same as that of picking any other position. Suppose we have space to store s variables. Then the first s positions of the stream are each picked as the position of one of the s variables. Inductively, suppose we have seen n stream elements, and the probability of any particular position being the position of a variable is uniform, that is s/n. When the (n+1)st element arrives, pick that position with probability s/(n+1). If not picked, then the s variables keep their same positions. However, if the (n+1)st position is picked, then throw out one of the current s variables, with equal probability. Replace the one discarded by a new variable whose element is the one at position n + 1 and whose value is 1. Surely, the probability that position n + 1 is selected for a variable is what it should be: s/(n + 1). However, the probability of every other position also is s/(n + 1), as we can prove by induction on n. By the inductive hypothesis, before the arrival of the (n + 1)st stream element, this probability was s/n. With probability 1−s/(n + 1) the (n + 1)st position will not be selected, and the probability of each of the first n positions remains s/n. However, with probability s/(n + 1), the (n + 1)st position is picked, and the probability for each of the first n positions is reduced by factor (s−1)/s. Considering the two cases, the probability of selecting each of the first n positions is

This expression simplifies to

and then to

which in turn simplifies to

Thus, we have shown by induction on the stream length n that all positions have equal probability s/n of being chosen as the position of a variable.

Kết quả (Việt) 1:

4.5.5 đối phó với Infinite dòng
về mặt kỹ thuật, ước lượng chúng tôi sử dụng cho thứ hai và cao hơn những khoảnh khắc giả định rằng n, chiều dài dòng, là một hằng số. Trong thực tế, n phát triển với thời gian. Đó là thực tế, tự nó, không gây ra vấn đề, kể từ khi chúng tôi lưu trữ chỉ là các giá trị của biến và nhân một số chức năng của giá trị đó của n khi nó là thời gian để ước tính thời điểm này. Nếu chúng tôi đếm số lượng các yếu tố dòng nhìn thấy và lưu trữ giá trị này, mà chỉ cần logn bit, sau đó chúng tôi có n có sẵn bất cứ khi nào chúng ta cần nó. Một vấn đề nghiêm trọng hơn là rằng chúng tôi phải cẩn thận như thế nào chúng tôi chọn vị trí cho các biến. Nếu chúng tôi làm điều này lựa chọn một lần và cho tất cả, sau đó như dòng được lâu hơn, chúng tôi được thành kiến trong lợi của vị trí đầu, và ước lượng của thời điểm này sẽ là quá lớn. Mặt khác, nếu chúng tôi chờ đợi quá lâu để chọn vị trí, sau đó sớm trong dòng chúng tôi không có nhiều biến, và như vậy sẽ nhận được một ước tính không đáng tin cậy. Các kỹ thuật thích hợp là để duy trì như nhiều biến như chúng tôi có thể lưu trữ ở tất cả thời gian, và để ném một số như là dòng phát triển. Các yếu tố bị loại bỏ được thay thế bằng những cái mới, trong một cách mà mọi lúc, khả năng chọn bất kỳ một vị trí cho một biến là giống như chọn bất kỳ vị trí nào khác. Giả sử chúng ta có không gian để lưu trữ các biến s. Sau đó vị trí s chính của dòng mỗi được chọn là vị trí của một trong các biến s. Ăngten, giả sử chúng tôi đã thấy các yếu tố n stream, và xác suất của bất kỳ vị trí cụ thể là vị trí của một biến là trang phục đó là s/n. Khi các phần tử (n 1) st đến, chọn vị trí đó với xác suất s /(n 1). Nếu chọn không, sau đó biến s giữ vị trí tương tự của họ. Tuy nhiên, nếu vị trí st (n 1) được chọn, sau đó ném ra một trong các biến s hiện tại, với xác suất bằng nhau. Thay thế bị loại bỏ bởi một biến mới có yếu tố là một ở vị trí n 1 và có giá trị là 1. Dĩ nhiên, khả năng mà vị trí n 1 được chọn cho một biến là những gì nó nên: s /(n 1). Tuy nhiên, xác suất của từng vị trí khác cũng là s /(n 1), như chúng tôi có thể chứng minh bằng quy nạp vào n. Bởi giả thuyết quy nạp, trước khi sự xuất hiện của các phần tử (n 1) dòng st, xác suất này là s/n. Với xác suất 1−s /(n 1) vị trí st (n 1) sẽ không được lựa chọn, và xác suất của mỗi vòng n vị trí vẫn còn s/n. Tuy nhiên, với xác suất s /(n 1), vị trí st (n 1) được chọn, và xác suất cho mỗi vị trí n chính là giảm yếu tố (s−1) / s. xem xét hai trường hợp, khả năng chọn mỗi vị trí n chính là

này biểu hiện simplifies để

và sau đó đến

mà lần lượt simplifies

do đó, chúng tôi có hiển thị bằng quy nạp vào n chiều dài dòng rằng tất cả các vị trí có xác suất bằng s/n của đang được chọn làm vị trí của một biến.