Chapter 5Data DistributionObject-ba

Chapter 5
Data Distribution
Object-based storage is an emerging architecture that promises improved manage ability,
scalability, and performance [7]. Unlike conventional block-based hard drives, object-based
storage devices (OSDs) manage disk block allocation internally, exposing an interface that allows
others to read and write to variably-sized, named objects. In such a system, each file’s data
is typically striped across a relatively small number of named objects distributed throughout
the storage cluster. Objects are replicated across multiple devices (or employ some other data
redundancy scheme) in order to protect against data loss in the presence of failures. Object based
storage systems simplify data layout by replacing large block lists with small object lists
and distributing the low-level block allocation problem. Although this vastly improves scalability
by reducing file allocation metadata and complexity, the fundamental task of distributing
data among thousands of storage devices—typically with varying capacities and performance
characteristics remains.
Most systems simply write new data to underutilized devices. The fundamental problem with this approach is that data is rarely, if ever, moved once it is written. Even a perfect
distribution will become imbalanced when the storage system is expanded, because new disks
either sit empty or contain only new data. Either old or new disks may be busy, depending
on the system workload, but only the rarest of conditions will utilize both equally to take full
advantage of available resources.
A robust solution is to distribute all data in a system randomly among available storage
devices. This leads to a probabilistically balanced distribution and uniformly mixes old and
new data together. When new storage is added, a random sample of existing data is migrated
onto new storage devices to restore balance. This approach has the critical advantage that, on
average, all devices will be similarly loaded, allowing the system to perform well under any
potential workload [84]. Furthermore, in a large storage system, a single large file will be randomly
distributed across a large set of available devices, providing a high level of parallelism
and aggregate bandwidth. However, simple hash-based distribution fails to cope with changes
in the number of devices, incurring a massive reshuffling of data. Further, existing randomized
distribution schemes that decluster replication by spreading each disk’s replicas across many
other devices suffer from a high probability of data loss from coincident device failures.
I have developed CRUSH (Controlled Replication Under Scalable Hashing), a pseudo random
data distribution algorithm that efficiently and robustly distributes object replicas across
a heterogeneous, structured storage cluster. CRUSH is implemented as a deterministic function
that maps an input value—typically an object or object group identifier—to a list of devices on
which to store object replicas. This differs from conventional approaches in that data placement
does not rely on any sort of per-file or per-object directory—CRUSH needs only a compact, hierarchical description of the devices comprising the storage cluster and knowledge of the replica
placement policy. This approach has two key advantages: first, it is completely distributed such
that any party in a large system can independently calculate the location of any object; and second,
what little metadata is required is mostly static, changing only when devices are added or
removed.
CRUSH is designed to optimally distribute data to utilize available resources, efficiently reorganize data when storage devices are added or removed, and enforce flexible constraints
on object replica placement that maximize data safety in the presence of coincident or
correlated hardware failures. A wide variety of data safety mechanisms are supported, including
n-way replication (mirroring), RAID parity schemes or other forms of erasure coding, and
hybrid approaches (e. g. RAID-10). These features make CRUSH ideally suited for managing
object distribution in extremely large (multi-petabyte) storage systems where scalability,
performance, and reliability are critically important

Kết quả (Việt) 1:

Chương 5Dữ liệu phân phốiĐối tượng dựa trên lưu trữ là một kiến trúc mới nổi mà hứa hẹn cải thiện khả năng, quản lýkhả năng mở rộng, và hiệu suất [7]. Không giống như thông thường dựa trên khối ổ đĩa cứng, dựa trên đối tượngthiết bị lưu trữ (OSDs) quản lý đĩa khối phân bổ trong nội bộ, để lộ một giao diện cho phépnhững người khác để đọc và viết để variably có kích thước, tên đối tượng. Trong một hệ thống như vậy, mỗi tập tin dữ liệuthường có trên một số tương đối nhỏ của các đối tượng được đặt tên theo phân bố khắp các sọccụm lí. Các đối tượng được nhân rộng trên nhiều thiết bị (hoặc sử dụng một số dữ liệu khácđề án dự phòng) để bảo vệ chống mất mát dữ liệu sự hiện diện của thất bại. Đối tượng dựaHệ thống lưu trữ đơn giản hóa việc bố trí dữ liệu bằng cách thay thế danh sách chặn lớn với danh sách nhỏ các đối tượngvà phân phối các vấn đề phân bổ ở độ cao thấp khối. Mặc dù điều này bao la cải thiện khả năng mở rộngbằng cách giảm các tập tin phân bổ các siêu dữ liệu và phức tạp, nhiệm vụ cơ bản của phân phốicác dữ liệu trong số hàng ngàn thiết bị lưu trữ-thường với khả năng và hiệu suất khác nhauđặc điểm còn lại.Hầu hết hệ thống đơn giản chỉ cần ghi dữ liệu mới để sử dụng đúng mức các thiết bị. Các vấn đề cơ bản với cách tiếp cận này là dữ liệu hiếm khi, nếu bao giờ hết, di chuyển một khi nó được viết. Thậm chí là một hoàn hảophân phối sẽ trở nên mất cân bằng khi hệ thống lưu trữ được mở rộng, vì đĩa mớihoặc ngồi trống hay chứa chỉ dữ liệu mới. Đĩa cũ hoặc mới có thể bận rộn, tùy thuộctrên hệ thống khối lượng công việc, nhưng chỉ hiếm nhất trong điều kiện sẽ sử dụng cả hai như nhau để có đầy đủtận dụng nguồn lực sẵn có.Một giải pháp mạnh mẽ là để phân phối tất cả dữ liệu trong một hệ thống ngẫu nhiên trong số lưu trữ có sẵnCác thiết bị. Điều này dẫn đến một phân phối chứng minh có cân bằng và đều hỗn hợp cũ vàdữ liệu mới với nhau. Khi lưu trữ mới được thêm vào, một mẫu ngẫu nhiên của dữ liệu được di chuyểnlên thiết bị lưu trữ mới để khôi phục lại sự cân bằng. Phương pháp này có lợi thế đó, ngày quan trọngTrung bình, tất cả thiết bị sẽ được tương tự như tải, cho phép hệ thống để thực hiện tốt hơn bất kỳtiềm năng khối lượng công việc [84]. Hơn nữa, trong một hệ thống lưu trữ lớn, một tập tin lớn duy nhất sẽ ngẫu nhiênphân bố trên một tập lớn các thiết bị có sẵn, cung cấp một mức độ cao của xử lý song songvà tổng hợp băng thông. Tuy nhiên, đơn giản phân phối dựa trên băm thất bại để đối phó với những thay đổitrong số các thiết bị, incurring một reshuffling khổng lồ của dữ liệu. Hơn nữa, hiện tại ngẫu nhiênchương trình phân phối decluster sao chép bằng cách lây lan mỗi đĩa bản sao qua nhiều ngườiCác thiết bị khác bị một xác suất cao của mất mát dữ liệu từ coincident thiết bị thất bại.Tôi đã phát triển lòng (kiểm soát rộng theo khả năng mở rộng băm), một giả ngẫu nhiênthuật toán phân phối dữ liệu hiệu quả và đủ phân phối đối tượng bản sao quamột cụm lưu trữ không đồng nhất, có cấu trúc. LÒNG được thực hiện như là một chức năng xác địnhmà bản đồ một giá trị nhập — thường là một đối tượng hoặc ký hiệu nhận dạng đối tượng nhóm — một danh sách các thiết bị khácmà để lưu trữ các đối tượng bản sao. Điều này khác với các phương pháp thông thường trong vị trí dữ liệu đókhông dựa trên bất kỳ loại thư mục cho mỗi tập tin hoặc một đối tượng-lòng cần chỉ một nhỏ gọn, thứ bậc mô tả trong các thiết bị bao gồm lí cụm và kiến thức của các bản saochính sách vị trí. Cách tiếp cận này có hai ưu điểm chính: đầu tiên, nó là hoàn toàn phân phối như vậybất kỳ người nào trong một hệ thống lớn độc lập có thể tính toán vị trí của bất kỳ đối tượng; và thứ hai,siêu dữ liệu rất ít những gì được yêu cầu là chủ yếu là tĩnh, việc thay đổi chỉ khi thiết bị được bổ sung hoặcgỡ bỏ.LÒNG được thiết kế để tối ưu phân phối dữ liệu để sử dụng các nguồn lực sẵn có, hiệu quả tổ chức lại dữ liệu khi thiết bị lưu trữ được thêm vào hoặc gỡ bỏ, và thực thi các linh hoạt chếvị trí bản sao đối tượng tối đa hoá an toàn dữ liệu sự hiện diện của coincident hoặcphần cứng tương quan thất bại. Một loạt các cơ chế an toàn dữ liệu được hỗ trợ, bao gồm cản chiều rộng (ánh xạ), RAID chẵn lẻ đề án hoặc các hình thức khác của erasure mã hóa, vàkết hợp phương pháp tiếp cận (e. g. RAID-10). Các tính năng này làm cho lòng lý tưởng cho việc quản lýđối tượng phân phối trong hệ thống lưu trữ cực lớn (multi-petabyte) mà khả năng mở rộng,hiệu suất và độ tin cậy là cực kỳ quan trọng

Kết quả (Việt) 2:

Chương 5
dữ liệu phân phối
lưu trữ đối tượng dựa trên một kiến trúc mới nổi hứa hẹn cải thiện quản lý khả năng,
khả năng mở rộng, và hiệu suất [7]. Không giống như các ổ đĩa cứng thông thường dựa trên khối, đối tượng dựa trên
các thiết bị lưu trữ (OSDs) quản lý phân bổ khối đĩa nội bộ, phơi bày một giao diện cho phép
người khác đọc và viết thư cho variably cỡ, tên đối tượng. Trong một hệ thống như vậy, dữ liệu của từng tập tin
thường được sọc trên một số lượng tương đối nhỏ của các đối tượng có tên là phân bố khắp
các cluster lưu trữ. Đối tượng được nhân rộng trên nhiều thiết bị (hoặc sử dụng một số dữ liệu khác
chương trình dự phòng) để bảo vệ chống mất mát dữ liệu trong sự hiện diện của những thất bại. Đối tượng dựa trên
hệ thống lưu trữ đơn giản hóa cách bố trí dữ liệu bằng cách thay thế danh sách khối lớn với danh sách đối tượng nhỏ
và phân phối các vấn đề phân bổ khối ở mức độ thấp. Mặc dù điều này bao la cải thiện khả năng mở rộng
bằng cách giảm tập tin siêu dữ liệu phân bổ và phức tạp, nhiệm vụ cơ bản của phân phối
dữ liệu trong số hàng ngàn thiết bị lưu trữ-thường có khả năng sinh hoạt và
đặc điểm vẫn còn.
Hầu hết các hệ thống chỉ đơn giản là ghi dữ liệu mới cho các thiết bị sử dụng đúng mức. Các vấn đề cơ bản của phương pháp này là dữ liệu là hiếm khi, nếu bao giờ hết, di chuyển khi nó được viết ra. Ngay cả một hoàn hảo
phân phối sẽ trở nên mất cân bằng khi các hệ thống lưu trữ được mở rộng, vì đĩa mới
hoặc ngồi trống rỗng hoặc có chứa dữ liệu mới. Hoặc là đĩa cũ hoặc mới có thể bận rộn, tùy thuộc
vào khối lượng công việc của hệ thống, nhưng chỉ hiếm nhất của điều kiện sẽ sử dụng cả hai đều đưa đầy đủ
lợi thế của nguồn lực sẵn có.
Một giải pháp mạnh mẽ là để phân phối tất cả các dữ liệu trong một hệ thống ngẫu nhiên trong lưu trữ có sẵn
các thiết bị. Điều này dẫn đến một phân phối xác suất cân bằng và thống nhất trộn cũ và
dữ liệu mới với nhau. Khi lưu trữ mới được thêm vào, một mẫu ngẫu nhiên các dữ liệu hiện có được di cư
vào các thiết bị lưu trữ mới để khôi phục lại sự cân bằng. Cách tiếp cận này có lợi thế quan trọng mà, trên
trung bình, tất cả các thiết bị sẽ được nạp tương tự, cho phép hệ thống thực hiện tốt dưới bất kỳ
khối lượng công việc tiềm năng [84]. Hơn nữa, trong một hệ thống lưu trữ lớn, một tập tin lớn duy nhất sẽ được ngẫu nhiên
phân bố trên một tập hợp lớn các thiết bị có sẵn, cung cấp một mức độ cao về xử lý song song
và băng thông tổng hợp. Tuy nhiên, phân phối băm đơn giản dựa trên không để đối phó với những thay đổi
về số lượng các thiết bị, phát sinh một xáo trộn lớn dữ liệu. Hơn nữa, hiện có ngẫu nhiên
đề án phân phối decluster nhân rộng bằng cách lây lan các bản sao của mỗi đĩa trên nhiều
thiết bị khác bị một xác suất cao của sự mất mát dữ liệu từ các lỗi thiết bị trùng.
Tôi đã phát triển CRUSH (Replication kiểm soát Theo Scalable Băm), một giả ngẫu nhiên
thuật toán phân phối dữ liệu hiệu quả và mạnh, phân phối các đối tượng bản sao trên
một cluster lưu trữ có cấu trúc không đồng nhất. Crush được thực hiện như một chức năng xác định
rằng bản đồ một đầu vào giá trị thường là một đối tượng hoặc nhóm đối tượng nhận dạng-một danh sách các thiết bị trên
đó để lưu trữ bản sao đối tượng. Điều này khác với các phương pháp thông thường trong đó vị trí dữ liệu
không dựa trên bất kỳ loại của mỗi tập tin hoặc mỗi đối tượng thư mục-CRUSH chỉ cần một, mô tả phân cấp nhỏ gọn của thiết bị bao gồm các cụm lưu trữ và kiến thức của các bản sao
chính sách vị trí. Cách tiếp cận này có hai ưu điểm chính: thứ nhất, nó là hoàn toàn phân tán
bất kỳ bên nào trong một hệ thống lớn có thể độc lập tính toán vị trí của bất kỳ đối tượng; và thứ hai,
những gì siêu dữ liệu ít được yêu cầu là chủ yếu là tĩnh, chỉ thay đổi khi thiết bị được thêm vào hoặc
gỡ bỏ.
CRUSH được thiết kế để tối ưu phân phối dữ liệu để tận dụng nguồn lực sẵn có, tổ chức lại hiệu quả dữ liệu khi thiết bị lưu trữ được thêm hoặc gỡ bỏ, và thực thi các chế linh hoạt
trên đối tượng bản sao vị trí đó tối đa hóa an toàn dữ liệu trong sự hiện diện của trùng hoặc
lỗi phần cứng liên quan. Một loạt các cơ chế an toàn dữ liệu được hỗ trợ, bao gồm cả
n-cách nhân rộng (ánh xạ), các chương trình RAID chẵn lẻ hoặc các hình thức khác của tẩy xoá mã hóa, và
các phương pháp lai (ví dụ như RAID-10). Những tính năng này làm cho CRUSH lý tưởng phù hợp cho việc quản lý
phân phối đối tượng trong (multi-petabyte) hệ thống lưu trữ vô cùng rộng lớn, nơi khả năng mở rộng,
hiệu suất, và độ tin cậy là quan trọng