20.3 Distributing indexesInSection4

20.3 Distributing indexes
InSection4.4wedescribeddistributedindexing.Wenowconsiderthedistribution of the index across a large computer cluster2 that supports querying. Two obvious alternative index implementations suggest themselves: parti - tioning by terms, also known as global index organization, and partitioning by document also know as local index organization. In the former, the dictionary of index terms is partitioned into subsets, each subset residing at a node. Along with the terms at a node, we keep the postings for those terms. A query is routed to the nodes corresponding to its query terms. In principle, this allows greater concurrency because a stream of queries with different query terms would hit different sets of machines. In practice, partitioning indexes by vocabulary terms turns out to be nontrivial. Multiword queries require the sending of long postings lists between sets of nodes for merging, and the cost of this can outweigh the greater concurrency.Load balancing the partition is governed not by an a priori analysis of relative term frequencies, but rather by the distribution of query terms and their co-occurrences,which can drift with time or exhibit sudden bursts. Achieving good partitions is a function of the co-occurrences of query terms and entails the clustering of terms to optimize objectives that are not easy to quantify. Finally, this strategy makes implementation of dynamic indexing more difficult. A more common implementation is to partition by documents: Each node contains the index for asubset of all documents. Each query is distributed to all nodes,with there sults from various nodes being merged before presentation to the user. This strategy trades more local disk seeks for less inter node communication. One difficulty in this approach is that global statistics used
2 Please note the different usage of clusters elsewhere in this book, in the sense of Chapters 16 and 17.

Kết quả (Việt) 1:

20.3 phân phối chỉ sốInSection4.4wedescribeddistributedindexing.Wenowconsiderthedistribution of the index across a large computer cluster2 that supports querying. Two obvious alternative index implementations suggest themselves: parti - tioning by terms, also known as global index organization, and partitioning by document also know as local index organization. In the former, the dictionary of index terms is partitioned into subsets, each subset residing at a node. Along with the terms at a node, we keep the postings for those terms. A query is routed to the nodes corresponding to its query terms. In principle, this allows greater concurrency because a stream of queries with different query terms would hit different sets of machines. In practice, partitioning indexes by vocabulary terms turns out to be nontrivial. Multiword queries require the sending of long postings lists between sets of nodes for merging, and the cost of this can outweigh the greater concurrency.Load balancing the partition is governed not by an a priori analysis of relative term frequencies, but rather by the distribution of query terms and their co-occurrences,which can drift with time or exhibit sudden bursts. Achieving good partitions is a function of the co-occurrences of query terms and entails the clustering of terms to optimize objectives that are not easy to quantify. Finally, this strategy makes implementation of dynamic indexing more difficult. A more common implementation is to partition by documents: Each node contains the index for asubset of all documents. Each query is distributed to all nodes,with there sults from various nodes being merged before presentation to the user. This strategy trades more local disk seeks for less inter node communication. One difficulty in this approach is that global statistics used2 Please note the different usage of clusters elsewhere in this book, in the sense of Chapters 16 and 17.

Kết quả (Việt) 2:

20.3 chỉ số Phân phối
InSection4.4wedescribeddistributedindexing.Wenowconsiderthedistribution của chỉ số trên một cluster2 máy tính lớn có hỗ trợ truy vấn. Hai triển khai chỉ số thay thế rõ ràng cho bản thân: parti - tioning bởi các điều khoản, còn được gọi là tổ chức chỉ số toàn cầu, và phân vùng của tài liệu cũng được biết như là tổ chức chỉ số địa phương. Trong cựu, từ điển các thuật ngữ chỉ số được phân chia thành các tập con, mỗi tập con cư trú tại một nút. Cùng với các điều khoản tại một nút, chúng tôi giữ các thông tin đăng cho những điều khoản. Một truy vấn được chuyển đến các nút tương ứng với thuật ngữ truy vấn của nó. Về nguyên tắc, điều này cho phép truy cập đồng thời lớn hơn bởi vì một dòng các truy vấn với các thuật ngữ truy vấn khác nhau sẽ đánh bộ máy khác nhau. Trong thực tế, chỉ số phân vùng bằng các từ ngữ như hóa ra là không tầm thường. Truy vấn yêu cầu nhiều từ việc gửi thông tin đăng dài liệt kê giữa bộ nút cho việc sáp nhập, và các chi phí này có thể lớn hơn những concurrency.Load lớn cân bằng các phân vùng được điều chỉnh không phải bởi một tiên nghiệm phân tích các tần số tương đối dài, mà là do sự phân bố của thuật ngữ truy vấn và đồng lần xuất hiện của họ, có thể trôi theo thời gian hoặc thể hiện các vụ nổ bất ngờ. Đạt được các phân vùng tốt là một chức năng của sự hợp xuất hiện của thuật ngữ truy vấn và kéo theo các phân nhóm từ ngữ để tối ưu hóa các mục tiêu mà không phải là dễ dàng để định lượng. Cuối cùng, chiến lược này làm cho việc thực hiện các chỉ mục động khăn hơn fi sùng bái. Một thực hiện phổ biến hơn là phân chia bởi các văn bản: Mỗi nút chứa các chỉ số cho asubset của mọi tài liệu. Mỗi truy vấn được phân phối cho tất cả các nút, với có sults từ các nút khác nhau được sáp nhập trước khi trình bày cho người dùng. Chiến lược này được giao dịch đĩa địa phương hơn tìm cách cho ít liên nút giao. Một gặp khó khăn fi trong phương pháp này là số liệu thống kê toàn cầu sử dụng
2 Xin lưu ý sử dụng khác nhau của cụm ở những nơi khác trong cuốn sách này, trong ý nghĩa của các Chương 16 và 17.