The long recovery time is a problem

The long recovery time is a problem for routine maintenance, too. In fact, because
unexpected failure of the namenode is so rare, the case for planned downtime is actually
more important in practice.
Hadoop 2 remedied this situation by adding support for HDFS high availability (HA).
In this implementation, there are a pair of namenodes in an active-standby configura‐
tion. In the event of the failure of the active namenode, the standby takes over its duties
to continue servicing client requests without a significant interruption. A few architec‐
tural changes are needed to allow this to happen:
• The namenodes must use highly available shared storage to share the edit log. When
a standby namenode comes up, it reads up to the end of the shared edit log to
synchronize its state with the active namenode, and then continues to read new
entries as they are written by the active namenode.
• Datanodes must send block reports to both namenodes because the block mappings
are stored in a namenode’s memory, and not on disk.
• Clients must be configured to handle namenode failover, using a mechanism that
is transparent to users.
• The secondary namenode’s role is subsumed by the standby, which takes periodic
checkpoints of the active namenode’s namespace.
There are two choices for the highly available shared storage: an NFS filer, or a quorum
journal manager (QJM). The QJM is a dedicated HDFS implementation, designed for
the sole purpose of providing a highly available edit log, and is the recommended choice
for most HDFS installations. The QJM runs as a group of journal nodes, and each edit
must be written to a majority of the journal nodes. Typically, there are three journal
nodes, so the system can tolerate the loss of one of them. This arrangement is similar
to the way ZooKeeper works, although it is important to realize that the QJM imple‐
mentation does not use ZooKeeper. (Note, however, that HDFS HA does use ZooKeeper
for electing the active namenode, as explained in the next section.)
If the active namenode fails, the standby can take over very quickly (in a few tens of
seconds) because it has the latest state available in memory: both the latest edit log entries
and an up-to-date block mapping. The actual observed failover time will be longer in
practice (around a minute or so), because the system needs to be conservative in de‐
ciding that the active namenode has failed.
In the unlikely event of the standby being down when the active fails, the administrator
can still start the standby from cold. This is no worse than the non-HA case, and from
an operational point of view it’s an improvement, because the process is a standard
operational procedure built into Hadoop.

Kết quả (Việt) 1:

Thời gian phục hồi lâu dài là một vấn đề bảo trì, quá. Trong thực tế, bởi vìbất ngờ thất bại của namenode là rất hiếm, thực sự là trường hợp cho kế hoạch thời gian chếtquan trọng hơn trong thực tế.Hadoop 2 khắc phục tình trạng này bằng cách thêm hỗ trợ cho HDFS sẵn sàng cao (HA).Trong việc thực hiện này, có một cặp namenodes trong một configura‐ tạm dừng hoạt độngtion. Trong trường hợp hỏng namenode hoạt động, chế độ chờ mất hơn nhiệm vụđể tiếp tục phục vụ khách hàng yêu cầu mà không có sự gián đoạn đáng kể. Một vài architec‐Tural thay đổi là cần thiết để cho phép điều này xảy ra:• Các namenodes phải sử dụng lưu trữ được chia sẻ rất sẵn để chia sẻ các chỉnh sửa bản ghi. Khinamenode chờ đi lên, nó đọc đến đầu của các bản ghi các chỉnh sửa được chia sẻ đểđồng bộ hóa trạng thái của nó với namenode hoạt động, và sau đó tiếp tục đọc mớimục như chúng được viết bằng namenode hoạt động.• Datanodes phải gửi báo cáo khối để namenodes cả hai bởi vì ánh xạ khốiđược lưu trữ trong bộ nhớ của một namenode, và không phải trên đĩa.• Khách hàng phải được cấu hình để thao tác chuyển đổi dự phòng namenode, bằng cách sử dụng một cơ chế màlà minh bạch để người sử dụng.• Vai trò của namenode trung học gộp của chế độ chờ, mất định kỳtrạm kiểm soát không gian tên là namenode đang hoạt động.Có hai sự lựa chọn cho việc lưu trữ được chia sẻ rất sẵn sàng: một filer NFS, hoặc một đại biểutạp chí quản lý (QJM). QJM là một thực hiện HDFS chuyên dụng, được thiết kế chomục đích duy nhất cung cấp cao có chỉnh sửa đăng nhập, và là sự lựa chọn đề nghịĐối với hầu hết HDFS cài đặt. QJM chạy như là một nhóm các nút tạp chí, và chỉnh sửa từngphải được ghi vào một đa tạp chí nút. Thông thường, có là ba tạp chínút, do đó, Hệ thống có thể chịu đựng được sự mất mát của một trong số họ. Sự sắp xếp này là tương tự nhưcách hoạt động ZooKeeper, mặc dù nó là rất quan trọng để nhận ra rằng QJM imple‐dùng không sử dụng ZooKeeper. (Lưu ý, Tuy nhiên, rằng HDFS Hà sử dụng ZooKeepercho bầu namenode hoạt động, như được diễn tả trong phần tiếp theo.)Nếu namenode hoạt động không thành công, trạng thái tạm nghỉ có thể đi qua rất nhanh chóng (trong một vài hàng chụcgiây) bởi vì nó có nhà nước mới nhất có sẵn trong bộ nhớ: cả hai các chỉnh sửa bản ghi Entries mới nhấtvà một thông tin mới nhất khối bản đồ. Thời gian chuyển đổi dự phòng quan sát thực tế sẽ lâu hơn trongthực hành (khoảng một phút hoặc lâu hơn), bởi vì hệ thống này cần phải được bảo thủ trong de‐ciding namenode hoạt động đã thất bại.Trong trường hợp của người chờ xuống khi các hoạt động không thành công, các quản trị viênvẫn có thể bắt đầu trong chế độ chờ từ lạnh. Điều này là không tồi tệ hơn trong không-hạ trường hợp, và từmột hoạt động quan điểm đó là một sự cải tiến, bởi vì quá trình này là một tiêu chuẩnhoạt động thủ tục được xây dựng vào Hadoop.

Kết quả (Việt) 2:

Thời gian phục hồi lâu dài là một vấn đề cho bảo dưỡng định kỳ, quá. Trong thực tế, bởi vì
sự thất bại bất ngờ của namenode là rất hiếm, trường hợp cho thời gian chết được quy hoạch là thực sự
quan trọng hơn trong thực tế.
Hadoop 2 khắc phục tình trạng này bằng cách thêm hỗ trợ cho HDFS sẵn sàng cao (HA).
Thực hiện điều này, có một cặp namenodes trong một configura- active-standby
tion. Trong trường hợp thất bại của namenode hoạt động, chờ tiếp quản nhiệm vụ của mình
để tiếp tục phục vụ các yêu cầu của khách hàng mà không có một sự gián đoạn đáng kể. Một vài trúc
thay đổi tural là cần thiết để cho phép điều này xảy ra:
• Các namenodes phải sử dụng lưu trữ chia sẻ có sẵn để chia sẻ chỉnh sửa bản ghi. Khi
một namenode chờ đi lên, nó đọc đến cuối chỉnh sửa log chia sẻ để
đồng bộ hóa các trạng thái của nó với namenode hoạt động, và sau đó tiếp tục đọc mới
mục khi chúng được viết bởi các namenode hoạt động.
• Datanodes phải gửi báo cáo khối cả namenodes vì ánh xạ khối
được lưu trữ trong bộ nhớ của namenode, và không phải trên đĩa.
• Khách hàng phải được cấu hình để xử lý namenode failover, sử dụng một cơ chế mà
là trong suốt đối với người sử dụng.
• vai trò namenode thứ cấp được gộp bởi các chế độ chờ, trong đó có định kỳ
. trạm kiểm soát của không gian tên namenode hoạt động của
có hai lựa chọn cho việc lưu trữ cao có sẵn chia sẻ: một filer NFS, hoặc một số đại biểu cần
quản lý tạp chí (QJM). Các QJM là một thực hiện HDFS chuyên dụng, được thiết kế cho
mục đích duy nhất là cung cấp một chỉnh sửa log sẵn sàng cao, và là sự lựa chọn khuyến cáo
cho hầu hết các cài đặt HDFS. Các QJM chạy như một nhóm các nút tạp chí, và mỗi chỉnh sửa
phải được ghi vào một phần lớn của các nút trên tạp chí. Thông thường, có ba tạp chí
nút, vì vậy hệ thống có thể chịu đựng sự mất mát của một trong số họ. Sự sắp xếp này là tương tự
như cách Zookeeper hoạt động, mặc dù điều quan trọng là nhận ra rằng QJM thöïc hieän
trình thực không sử dụng Zookeeper. (Lưu ý, tuy nhiên, HDFS HA không sử dụng Zookeeper
cho bầu namenode hoạt động, như được giải thích trong phần tiếp theo.)
Nếu namenode hoạt động không thành công, chế độ chờ có thể đi qua rất nhanh (trong vài chục
giây) vì nó có nhà nước mới nhất có sẵn trong bộ nhớ: cả các mục chỉnh sửa đăng nhập mới nhất
và một bản đồ khối up-to-date. Các thực tế quan sát được chuyển đổi dự phòng thời gian sẽ lâu hơn trong
thực tế (khoảng một phút hoặc lâu hơn), do hệ thống cần phải được bảo thủ trong việc suy
ciding rằng namenode hoạt động đã thất bại.
Trong trường hợp không chắc của chế độ chờ khi giảm khi hoạt động không thành, người quản trị
vẫn có thể bắt đầu chờ từ lạnh. Đây không phải là tồi tệ hơn so với trường hợp không-HA, và từ
một điểm hoạt động của xem nó là một sự cải tiến, bởi vì quá trình này là một tiêu chuẩn
quy trình nghiệp vụ xây dựng vào Hadoop.