3.1 Hierarchical Cluster Map The cl

3.1 Hierarchical Cluster Map
The cluster map is composed of devices and buckets, both of which have numerical identifiers and weight values associated with them. Buckets can contain any number of devices or other buckets, allowing them to form interior nodes in a storage hierarchy in which devices are always at the leaves. Storage devices are assigned weights by the administrator to control the relative amount of data they are responsible for storing. Although a large system will likely contain devices with a variety of capacity and performance characteristics, randomized data distributions statistically correlate device utilization with workload, such that device load is on average proportional to the amount of data stored. This results in a one-dimensional placement metric, weight, which should be derived from the device’s capabilities. Bucket weights are defined as the sum of the weights of the items they contain. Buckets can be composed arbitrarily to construct a hierarchy representing available storage. For example, one might create a cluster map with “shelf” buckets at the lowest level to represent sets of identical devices as they are installed, and then combine shelves into “cabinet” buckets to group together shelves that are installed in the same rack. Cabinets might be further grouped into “row” or “room” buckets for a large system. Data is placed in the hierarchy by recursively selecting nested bucket items via a pseudo-random hash-like function. In contrast to conventional hashing techniques, in which any change in the number of target bins (devices) results in a massive reshuffling of bin contents, CRUSH is based on four different bucket types, each with a different selection algorithm to address data movement resulting from the addition or removal of devices and overall computational complexity

3.2 Replica Placement
CRUSH is designed to distribute data uniformly among weighted devices to maintain a statistically balanced utilization of storage and device bandwidth resources. The placement of replicas on storage devices in the hierarchy can also have a critical effect on data safety. By reflecting the underlying physical organization of the installation, CRUSH can model—and thereby address—potential sources of correlated device failures. Typical sources include physical proximity, a shared power source, and a shared network. By encoding this information into the cluster map, CRUSH placement policies can separate object replicas across different failure domains while still maintaining the desired distribution. For example, to address the possibility of concurrent failures, it may be desirable to ensure that data replicas are on devices in different shelves, racks, power supplies, controllers, and/or physical locations. In order to accommodate the wide variety of scenarios in which CRUSH might be used, both in terms of data replication strategies and underlying hardware configurations, CRUSH defines placement rules for each replication strategy or distribution policy employed that allow the storage system or administrator to specify exactly how object replicas are placed. For example, one might have a rule selecting a pair of targets for 2-way mirroring, one for selecting three targets in two different data centers for 3-way mirroring, one for RAID-4 over six storage devices, and so on . Each rule consists of a sequence of operations applied to the hierarchy in a simple execution environment, presented as pseudocode in Algorithm 1. The integer input to the CRUSH function, x, is typically an object name or other identifier, such as an identifier for a group of objects whose replicas will be placed on the same devices. The take(a) operation selects an item (typically a bucket) within the storage hierarchy and assigns it to the vector~i, which serves as an input to subsequent operations. The select(n,t) operation iterates over each element i ∈~i, and chooses n distinct items of type t in the subtree rooted at that point. Storage devices have a known, fixed type, and each bucket in the system has a type field that is used to distinguish between classes of buckets (e. g., those representing “rows” and those representing “cabinets”). For each i ∈~i, the select(n,t) call iterates over the r ∈ 1,...,n items requested and recursively descends through any intermediate buckets, pseudo-randomly selecting a nested item in each bucket using the function c(r,x) (defined for each kind of bucket in Section 3.4), until it finds an item of the requested type t. The resulting n|~i| distinct items are placed back into the input~i and either form the input for a subsequent select(n,t) or are moved into the result vector with an emit operation. As an example, the rule defined in Table 1 begins at the root of the hierarchy in Figure 1 and with the first select(1,row) chooses a single bucket of type “row” (it selects row2).

Kết quả (Việt) 1:

3.1 phân cấp cụm sao bản đồ Bản đồ của cụm bao gồm thiết bị và các nhóm, cả hai đều có số định danh và các giá trị trọng lượng liên kết với chúng. Thùng có thể chứa bất kỳ số lượng các thiết bị hoặc nhóm khác, cho phép chúng để tạo thành các nút bên trong một hệ thống lưu trữ trong đó thiết luôn lúc lá. Thiết bị lưu trữ được gán trọng bởi các quản trị viên để kiểm soát số lượng tương đối của dữ liệu họ có trách nhiệm lưu trữ. Mặc dù một hệ thống lớn có khả năng sẽ bao gồm các thiết bị với một loạt các khả năng và hiệu suất đặc điểm, phân phối ngẫu nhiên dữ liệu thống kê tương quan thiết bị sử dụng với khối lượng công việc, như vậy mà thiết bị tải là trung bình tỷ lệ thuận với số lượng dữ liệu được lưu trữ. Kết quả là một thước đo hết vị trí, trọng lượng, nên được bắt nguồn từ khả năng của thiết bị. Trọng lượng thùng được định nghĩa là tổng trọng lượng các mặt hàng chúng chứa. Nhóm có thể bao gồm tùy tiện để xây dựng một hệ thống phân cấp đại diện cho lí có sẵn. Ví dụ, một trong những có thể tạo bản đồ cụm với "kệ" Xô ở mức thấp nhất để đại diện cho bộ thiết bị giống hệt như chúng được cài đặt, và sau đó kết hợp kệ thành "nội" nhóm nhóm với nhau các kệ được cài đặt trong cùng một rack. Tủ có thể được nhóm lại thêm vào "hàng" hoặc "phòng" Xô cho một hệ thống lớn. Dữ liệu được đặt trong hệ thống phân cấp của đệ quy cách chọn mục lồng nhau Xô qua một hàm băm-giống như giả ngẫu nhiên. Trái ngược với kỹ thuật hashing thông thường, trong đó có bất kỳ thay đổi nào trong số các mục tiêu thùng (thiết bị) kết quả trong một lớn reshuffling của các nội dung rác, CRUSH được dựa trên bốn loại thùng khác nhau, mỗi với một thuật toán khác nhau lựa chọn để di chuyển dữ liệu địa chỉ do bổ sung hoặc loại bỏ các thiết bị và độ phức tạp tính toán tổng thể3.2 vị trí đặt bản sao CRUSH is designed to distribute data uniformly among weighted devices to maintain a statistically balanced utilization of storage and device bandwidth resources. The placement of replicas on storage devices in the hierarchy can also have a critical effect on data safety. By reflecting the underlying physical organization of the installation, CRUSH can model—and thereby address—potential sources of correlated device failures. Typical sources include physical proximity, a shared power source, and a shared network. By encoding this information into the cluster map, CRUSH placement policies can separate object replicas across different failure domains while still maintaining the desired distribution. For example, to address the possibility of concurrent failures, it may be desirable to ensure that data replicas are on devices in different shelves, racks, power supplies, controllers, and/or physical locations. In order to accommodate the wide variety of scenarios in which CRUSH might be used, both in terms of data replication strategies and underlying hardware configurations, CRUSH defines placement rules for each replication strategy or distribution policy employed that allow the storage system or administrator to specify exactly how object replicas are placed. For example, one might have a rule selecting a pair of targets for 2-way mirroring, one for selecting three targets in two different data centers for 3-way mirroring, one for RAID-4 over six storage devices, and so on . Each rule consists of a sequence of operations applied to the hierarchy in a simple execution environment, presented as pseudocode in Algorithm 1. The integer input to the CRUSH function, x, is typically an object name or other identifier, such as an identifier for a group of objects whose replicas will be placed on the same devices. The take(a) operation selects an item (typically a bucket) within the storage hierarchy and assigns it to the vector~i, which serves as an input to subsequent operations. The select(n,t) operation iterates over each element i ∈~i, and chooses n distinct items of type t in the subtree rooted at that point. Storage devices have a known, fixed type, and each bucket in the system has a type field that is used to distinguish between classes of buckets (e. g., those representing “rows” and those representing “cabinets”). For each i ∈~i, the select(n,t) call iterates over the r ∈ 1,...,n items requested and recursively descends through any intermediate buckets, pseudo-randomly selecting a nested item in each bucket using the function c(r,x) (defined for each kind of bucket in Section 3.4), until it finds an item of the requested type t. The resulting n|~i| distinct items are placed back into the input~i and either form the input for a subsequent select(n,t) or are moved into the result vector with an emit operation. As an example, the rule defined in Table 1 begins at the root of the hierarchy in Figure 1 and with the first select(1,row) chooses a single bucket of type “row” (it selects row2).

Kết quả (Việt) 2:

3.1 Cấu trúc Cụm Bản đồ
Bản đồ cụm gồm các thiết bị và xô, cả hai đều có định danh số và giá trị trọng số liên kết với chúng. Gầu có thể chứa bất kỳ số lượng các thiết bị hoặc các nhóm khác, cho phép họ để tạo thành các nút bên trong một hệ thống phân cấp lưu trữ trong đó các thiết bị luôn ở lá. Thiết bị lưu trữ được giao trọng bởi các quản trị viên để kiểm soát số lượng tương đối của các dữ liệu họ có trách nhiệm lưu trữ. Mặc dù một hệ thống lớn có khả năng chứa các thiết bị với một loạt các khả năng và hiệu suất đặc điểm, phân phối dữ liệu ngẫu nhiên thống kê sử dụng thiết bị tương quan với khối lượng công việc, như vậy mà tải thiết bị là trên trung bình tỷ lệ thuận với số lượng dữ liệu được lưu trữ. Điều này dẫn đến một chiều số liệu vị trí, trọng lượng, mà nên được bắt nguồn từ khả năng của thiết bị. Trọng lượng nhóm được định nghĩa là tổng trọng lượng của các mặt hàng mà họ có. Xô có thể được tạo tùy tiện để xây dựng một hệ thống phân cấp đại diện cho lưu trữ có sẵn. Ví dụ, người ta có thể tạo ra một bản đồ cluster với "kệ" xô ở mức thấp nhất để đại diện cho bộ thiết bị giống như chúng được cài đặt, và sau đó kết hợp kệ vào "nội các" xô nước để nhóm lại với nhau kệ được cài đặt trong cùng một rack. Tủ có thể được tiếp tục chia thành các nhóm "hàng" hoặc "room" xô cho một hệ thống lớn. Dữ liệu được đặt trong hệ thống phân cấp của đệ quy chọn mục xô lồng nhau thông qua một hàm băm như giả ngẫu nhiên. Ngược lại với các kỹ thuật băm thông thường, trong đó có sự thay đổi về số lượng các mục tiêu thùng (thiết bị) kết quả trong một xáo trộn lớn về nội dung bin, CRUSH được dựa trên bốn loại thùng khác nhau, mỗi loại có một thuật toán lựa chọn khác nhau để giải quyết di chuyển dữ liệu kết quả từ việc bổ sung hoặc loại bỏ các thiết bị và tổng thể phức tạp tính toán

3.2 Replica Vị trí
Crush được thiết kế để phân phối dữ liệu thống nhất giữa các thiết bị có trọng để duy trì một cân bằng việc sử dụng thống kê dung lượng lưu trữ và thiết bị nguồn tài nguyên băng thông. Các vị trí của các bản sao trên các thiết bị lưu trữ trong hệ thống cũng có thể có một ảnh hưởng quan trọng về an toàn dữ liệu. Bằng cách phản chiếu các tổ chức vật lý cơ bản của quá trình cài đặt, CRUSH có thể mô hình và do đó giải quyết tiềm năng nguồn của thất bại thiết bị liên quan. Nguồn điển hình bao gồm khoảng cách vật lý, một nguồn năng lượng được chia sẻ, và một mạng chia sẻ. Bằng cách mã hóa thông tin này vào bản đồ cluster, chính sách vị trí Crush có thể tách bản sao đối tượng trên lĩnh vực thất bại khác nhau trong khi vẫn duy trì sự phân bố mong muốn. Ví dụ, để giải quyết khả năng thất bại đồng thời, nó có thể được mong muốn để đảm bảo rằng những bản sao dữ liệu trên các thiết bị trong kệ khác nhau, giá đỡ, nguồn điện, bộ điều khiển, và / hoặc địa điểm vật lý. Để thích ứng với nhiều kịch bản trong đó Crush có thể được sử dụng, cả về chiến lược sao chép dữ liệu và cấu hình phần cứng bên dưới, CRUSH định nghĩa quy tắc vị trí cho mỗi chính sách chiến lược nhân rộng hoặc phân phối làm việc cho phép các hệ thống lưu trữ hoặc quản trị viên để xác định chính xác cách bản sao đối tượng được đặt. Ví dụ, người ta có thể có một quy tắc lựa chọn một cặp chỉ tiêu cho 2 chiều phản chiếu, một lựa chọn ba mục tiêu ở hai trung tâm dữ liệu khác nhau cho 3 chiều phản chiếu, một cho RAID-4 trên sáu thiết bị lưu trữ, và như vậy. Mỗi quy tắc bao gồm một chuỗi các hoạt động áp dụng cho các hệ thống phân cấp trong một môi trường thực thi đơn giản, trình bày như giả trong thuật toán 1. Số nguyên đầu vào của hàm CRUSH, x, điển hình là một đối tượng tên hoặc số nhận dạng khác, chẳng hạn như một định danh cho một nhóm đối tượng mà bản sao sẽ được đặt trên các thiết bị tương tự. Việc tiếp nhận (a) hoạt động chọn một mục (thường là một thùng) trong hệ thống phân cấp lưu trữ và gán nó vào vector ~ i, phục vụ như là một đầu vào cho hoạt động tiếp theo. Các lựa chọn (n, t) lặp hoạt động trên mỗi phần tử i ∈ ~ i, và chọn n mục riêng biệt của loại t trong cây con rễ vào thời điểm đó. Thiết bị lưu trữ có một loại cố định được biết đến, và mỗi thùng trong hệ thống có một trường loại được sử dụng để phân biệt giữa các tầng lớp nhân xô (ví dụ, những người đại diện cho "hàng" và những người đại diện cho "tủ"). Đối với mỗi i ∈ ~ i, các lựa chọn (n, t) gọi lặp trên r ∈ 1, ..., n mục yêu cầu và đệ quy xuống thông qua bất kỳ trung gian xô, chọn giả ngẫu nhiên một mục lồng nhau ở mỗi nhóm bằng cách sử dụng chức năng c (r, x) (được xác định cho từng loại xô tại mục 3.4), cho đến khi nó tìm thấy một mục của các loại yêu cầu t. Kết quả là n | ~ i | mục riêng biệt được đặt trở lại vào đầu vào ~ i và một trong hai hình thức đầu vào cho một tiếp theo chọn (n, t) hoặc được di chuyển vào các vector kết quả với một hoạt động sinh ra các. Như một ví dụ, các quy tắc quy định tại Bảng 1 bắt đầu từ thư mục gốc của hệ thống phân cấp trong Hình 1 và với người đầu tiên chọn (1, hàng) chọn một xô duy nhất của loại "hàng" (nó chọn row2).