Reduce tasks don’t have the advanta

Reduce tasks don’t have the advantage of data locality; the input to a single reduce task
is normally the output from all mappers. In the present example, we have a single reduce
task that is fed by all of the map tasks. Therefore, the sorted map outputs have to be
transferred across the network to the node where the reduce task is running, where they
are merged and then passed to the user-defined reduce function. The output of the
reduce is normally stored in HDFS for reliability. As explained in Chapter 3, for each
HDFS block of the reduce output, the first replica is stored on the local node, with other
replicas being stored on off-rack nodes for reliability. Thus, writing the reduce output
does consume network bandwidth, but only as much as a normal HDFS write pipeline
consumes.
The whole data flow with a single reduce task is illustrated in Figure 2-3. The dotted
boxes indicate nodes, the dotted arrows show data transfers on a node, and the solid
arrows show data transfers between nodes.

Kết quả (Việt) 1:

Giảm bớt công việc không có lợi thế của dữ liệu địa phương; đầu vào cho một nhiệm vụ duy nhất giảmlà bình thường đầu ra từ tất cả mappers. Trong ví dụ hiện nay, chúng tôi có một giảm đơnnhiệm vụ đó nuôi bởi tất cả các tác vụ đồ. Vì vậy, kết quả đầu ra được sắp xếp đồ cóchuyển qua mạng để các nút nơi giảm tác vụ đang chạy, nơi họđược sáp nhập và sau đó thông qua các chức năng xác định người dùng giảm. Đầu ra của cácgiảm bình thường được lưu trữ trong HDFS cho độ tin cậy. Như đã giải thích trong chương 3, cho mỗiHDFS khối lượng giảm, các bản sao đầu tiên được lưu trữ trên các nút địa phương khácbản sao được lưu trữ trên các nút tắt rack cho độ tin cậy. Vì vậy, văn bản đầu ra giảmtiêu thụ băng thông mạng, nhưng chỉ càng nhiều càng tốt, bình thường HDFS viết đường ốngtiêu thụ.Dòng chảy toàn bộ dữ liệu với một nhiệm vụ duy nhất giảm được minh họa trong hình 2-3. Các chấmhộp cho thấy các nút, các mũi tên chấm Hiển thị dữ liệu chuyển vào một nút, và chất rắnmũi tên hiển thị của truyền dữ liệu giữa các nút.

Kết quả (Việt) 2:

Giảm công việc không có lợi thế của dữ liệu địa phương; đầu vào cho một nhiệm vụ duy nhất giảm
thường là đầu ra từ tất cả người vẽ bản đồ. Trong ví dụ hiện tại, chúng tôi có một đơn giảm
nhiệm vụ được nuôi dưỡng bởi tất cả các nhiệm vụ bản đồ. Do đó, các kết quả đầu ra bản đồ được sắp xếp phải được
chuyển qua mạng để các nút nơi giảm nhiệm vụ đang chạy, nơi họ
được sáp nhập và sau đó được chuyển sang người dùng định nghĩa làm giảm chức năng. Đầu ra của
giảm thường được lưu trữ trong HDFS cho độ tin cậy. Như đã giải thích ở chương 3, cho mỗi
khối HDFS của giảm sản lượng, các bản sao đầu tiên được lưu trữ trên các nút địa phương, với các
bản sao được lưu trữ trên off-rack nút cho độ tin cậy. Như vậy, văn bản làm giảm sản lượng
làm tiêu tốn băng thông mạng, nhưng chỉ như nhiều như là một bình thường HDFS ghi đường ống
tiêu thụ.
Các luồng dữ liệu toàn bộ với một nhiệm vụ duy nhất giảm được minh họa trong hình 2-3. Các chấm
hộp chỉ ra các nút, các mũi tên nét đứt thể hiện truyền dữ liệu trên một nút, và rắn
mũi tên thể hiện truyền dữ liệu giữa các nút.