There are two properties that we se

There are two properties that we set in the pseudodistributed configuration that deserve
further explanation. The first is fs.defaultFS, set to hdfs://localhost/, which is used
to set a default filesystem for Hadoop.5 Filesystems are specified by a URI, and here we
have used an hdfs URI to configure Hadoop to use HDFS by default. The HDFS dae‐
mons will use this property to determine the host and port for the HDFS namenode.
We’ll be running it on localhost, on the default HDFS port, 8020. And HDFS clients will
use this property to work out where the namenode is running so they can connect
to it.
We set the second property, dfs.replication, to 1 so that HDFS doesn’t replicate
filesystem blocks by the default factor of three. When running with a single datanode,
HDFS can’t replicate blocks to three datanodes, so it would perpetually warn about
blocks being under-replicated. This setting solves that problem.
Basic Filesystem Operations
The filesystem is ready to be used, and we can do all of the usual filesystem operations,
such as reading files, creating directories, moving files, deleting data, and listing direc‐
tories. You can type hadoop fs -help to get detailed help on every command.
Start by copying a file from the local filesystem to HDFS:
% hadoop fs -copyFromLocal input/docs/quangle.txt
hdfs://localhost/user/tom/quangle.txt
This command invokes Hadoop’s filesystem shell command fs, which supports a num‐
ber of subcommands—in this case, we are running -copyFromLocal. The local file
quangle.txt is copied to the file /user/tom/quangle.txt on the HDFS instance running on
localhost. In fact, we could have omitted the scheme and host of the URI and picked up
the default, hdfs://localhost, as specified in core-site.xml:
% hadoop fs -copyFromLocal input/docs/quangle.txt /user/tom/quangle.txt
We also could have used a relative path and copied the file to our home directory in
HDFS, which in this case is /user/tom:
% hadoop fs -copyFromLocal input/docs/quangle.txt quangle.txt
Let’s copy the file back to the local filesystem and check whether it’s the same:
% hadoop fs -copyToLocal quangle.txt quangle.copy.txt
% md5 input/docs/quangle.txt quangle.copy.txt
MD5 (input/docs/quangle.txt) = e7891a2627cf263a079fb0f18256ffb2
MD5 (quangle.copy.txt) = e7891a2627cf263a079fb0f18256ffb2

Kết quả (Việt) 1:

Có hai thuộc tính mà chúng tôi đặt trong cấu hình pseudodistributed xứng đángtiếp tục giải thích. Đầu tiên là fs.defaultFS, thiết lập để hdfs://localhost/, được sử dụngđể thiết lập một hệ thống tập tin mặc định cho hệ thống tập tin Hadoop.5 xác định bởi một URI, và ở đây chúng tôiđã sử dụng một hdfs URI để cấu hình Hadoop sử dụng HDFS theo mặc định. HDFS dae‐Mons sẽ sử dụng thuộc tính này để xác định máy chủ và cổng cho HDFS namenode.Chúng tôi sẽ chạy nó trên localhost, trên cổng HDFS mặc định, 8020. Và HDFS khách hàngsử dụng thuộc tính này để làm việc ra nơi namenode đang chạy để họ có thể kết nốiđể nó.Chúng tôi thiết lập các tài sản thứ hai, dfs.replication, để 1 do đó HDFS không sao chépHệ thống tập tin khối bởi yếu tố mặc định của ba. Khi chạy với một datanode duy nhất,HDFS không thể sao chép khối để ba datanodes, vì vậy, nó vĩnh viễn có thể cảnh báo vềtòa nhà đang được sao chép dưới. Thiết lập này giải quyết vấn đề đó.Hoạt động hệ thống tập tin cơ bảnHệ thống tập tin đã sẵn sàng để được sử dụng, và chúng tôi có thể làm tất cả các hoạt động của hệ thống tập tin bình thường,chẳng hạn như đọc tập tin, tạo thư mục, di chuyển tập tin, xóa dữ liệu, và danh sách direc‐Tories. Bạn có thể gõ hadoop fs-trợ giúp để có được trợ giúp chi tiết về mỗi lệnh.Bắt đầu bằng cách sao chép một tập tin từ hệ thống tập tin địa phương HDFS:% hadoop fs - copyFromLocal input/docs/quangle.txt hdfs://localhost/User/Tom/quangle.txtLệnh này invokes Hadoop của hệ thống tập tin shell lệnh fs, mà hỗ trợ một num‐BER subcommands — trong trường hợp này, chúng tôi đang chạy - copyFromLocal. Các tập tin địa phươngquangle.txt được sao chép vào tập tin /user/tom/quangle.txt trên dụ HDFS chạy trênlocalhost. Trong thực tế, chúng tôi có thể đã bỏ qua các đề án và lưu trữ của URI và nhặtmặc định, hdfs://localhost, như được chỉ định trong lõi-site.xml:% hadoop fs - copyFromLocal input/docs/quangle.txt /user/tom/quangle.txtChúng tôi cũng có thể sử dụng một đường dẫn tương đối và sao chép các tập tin vào thư mục nhà của chúng tôi trongHDFS, trong trường hợp này là /user/tom:% hadoop fs - copyFromLocal input/docs/quangle.txt quangle.txtHãy sao chép các tập tin lại cho hệ thống tập tin địa phương và kiểm tra xem nó là như vậy:% hadoop fs - copyToLocal quangle.txt quangle.copy.txt% md5 input/docs/quangle.txt quangle.copy.txtMD5 (input/docs/quangle.txt) = e7891a2627cf263a079fb0f18256ffb2MD5 (quangle.copy.txt) = e7891a2627cf263a079fb0f18256ffb2

Kết quả (Việt) 2:

Có hai đặc tính mà chúng tôi thiết lập trong cấu hình pseudodistributed rằng xứng đáng
giải thích thêm. Đầu tiên là fs.defaultFS, thiết lập để HDFS: // localhost /, được sử dụng
để thiết lập một hệ thống tập tin mặc định cho Hadoop.5 hệ tập tin được quy định bởi một URI, và ở đây chúng tôi
đã sử dụng một HDFS URI để cấu hình Hadoop để sử dụng HDFS bởi mặc định. Các dae- HDFS
mons sẽ sử dụng tài sản này để xác định các máy chủ và cổng cho namenode HDFS.
Chúng tôi sẽ chạy nó trên localhost, trên cổng HDFS mặc định, 8020. Và HDFS khách hàng sẽ
sử dụng tài sản này để làm việc ra nơi namenode đang chạy để họ có thể kết nối
với nó.
Chúng tôi thiết lập thuộc tính thứ hai, dfs.replication, để 1 để HDFS không tái tạo
các khối hệ thống tập tin của các yếu tố mặc định của ba. Khi chạy với một datanode duy nhất,
HDFS không thể tái tạo khối để ba datanodes, vì vậy nó vĩnh viễn sẽ cảnh báo về
khối đang bị nhân rộng. Thiết lập này sẽ giải quyết vấn đề đó.
Cơ bản hệ thống tập tin hoạt động
Các hệ thống tập tin đã sẵn sàng để được sử dụng, và chúng ta có thể làm tất cả các hoạt động của hệ thống tập tin thông thường,
chẳng hạn như đọc các tập tin, tạo thư mục, di chuyển file, xóa dữ liệu, và niêm yết trí Giám đốc
tories. Bạn có thể gõ hadoop fs -help để có được sự giúp đỡ chi tiết trên mỗi lệnh.
Bắt đầu bằng cách sao chép một tập tin từ hệ thống tập tin địa phương để HDFS:
% fs hadoop -copyFromLocal đầu vào / docs / quangle.txt
HDFS: // localhost / người dùng / tom / quangle.txt
lệnh này gọi fs lệnh hệ thống tập tin vỏ Hadoop, mà hỗ trợ một num
ber của lệnh con trong trường hợp này, chúng tôi đang chạy -copyFromLocal. Các tập tin địa phương
quangle.txt được sao chép vào tập tin /user/tom/quangle.txt trên dụ HDFS chạy trên
localhost. Trong thực tế, chúng ta có thể bỏ qua các chương trình và chủ nhà của URI và nhặt
mặc định, HDFS: // localhost, như quy định trong lõi site.xml:
% fs hadoop -copyFromLocal đầu vào / docs / quangle.txt / người sử dụng / tom / quangle.txt
Chúng tôi cũng có thể sử dụng một đường dẫn tương đối và sao chép các tập tin vào thư mục chính của chúng tôi trong
HDFS, mà trong trường hợp này là / người dùng / tom:
% fs hadoop -copyFromLocal đầu vào / docs / quangle.txt quangle.txt
Hãy sao chép các tập tin trở lại cho hệ thống tập tin địa phương và kiểm tra xem nó là như nhau:
% hadoop fs -copyToLocal quangle.txt quangle.copy.txt
% đầu vào md5 / docs / quangle.txt quangle.copy.txt
MD5 (đầu vào / docs / quangle. txt) = e7891a2627cf263a079fb0f18256ffb2
MD5 (quangle.copy.txt) = e7891a2627cf263a079fb0f18256ffb2