1. 程式人生 > >HDFS偽分布式環境操作

HDFS偽分布式環境操作

。/;

(一)、HDFS shell操作

                 以上已經介紹了如何搭建偽分布式的Hadoop,既然環境已經搭建起來了,那要怎麽去操作呢?這就是本節將要介紹的內容:

                  HDFS自帶有一些shell命令,通過這些命令我們可以去操作HDFS文件系統,這些命令與Linux的命令挺相似的,如果熟悉Linux的命令很容易就可以上手HDFS的命令,關於這些命令的官方文檔地址如下:

                   http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapredCommands.html

     1.1  首先我們在/data下創建一個測試文件:

             [root@web02 data]# vim hello.txt

          18/04/07 12:03:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
            如果遇到以上報錯修改
            [root@web02 hadoop]# pwd
           /usr/local/src/hadoop-2.6.0-cdh5.7.0/etc/hadoop
            [root@web02 hadoop]# vim log4j.properties
           添加:
           log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

1.2查看文件系統的根目錄

                            [root@web02 data]# hdfs dfs -ls /

1.3.將剛剛創建的文件拷貝到文件系統的根目錄下:

                            [root@web02 data]# hdfs dfs -ls / 
                            Found 1 items
                            -rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txt
                            [root@web02 data]#

1.4.查看文件內容:

                           [root@web02 data]# hdfs dfs -cat /hello.txt
                           hello You 66 O
                           Hadoop HDFS mpareduce

1.5創建目錄

                         [root@web02 data]# hdfs dfs -mkdir /test
                         [root@web02 data]# hdfs dfs -ls /
                         Found 2 items
                         -rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txt
                         drwxr-xr-x   - root supergroup          0 2018-04-07 12:20 /test
                         [root@web02 data]#

1.6遞歸創建目錄

                          [root@web02 data]# hdfs dfs -mkdir -p /test/a/b/c

1.7查看遞歸目錄

                           [root@web02 data]# hdfs dfs -ls -R /

技術分享圖片

1.8復制文件

                   [root@web02 data]# hdfs dfs -copyFromLocal                               
                   ./hello.txt /test/a/b

                    [root@web02 data]# hdfs dfs -ls -R /
                    -rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txt
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:22 /test
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:22 /test/a
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:28 /test/a/b
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:22 /test/a/b/c
                    -rw-r--r--   1 root supergroup         37 2018-04-07 12:28 /test/a/b/hello.txt
                    [root@web02 data]#

1.9從系統中拿出文件

                  [root@web02 data]# hdfs dfs -get /test/a/b/hello.txt

2.0刪除文件

                  [root@web02 data]# hdfs dfs -rm /hello.txt
                  Deleted /hello.txt
                  [root@web02 data]#

2.1刪除目錄

               [root@web02 data]# hdfs dfs -rm -R /test
               Deleted /test
               [root@web02 data]#

以上就是最為常用的一些操作命令了,如果需要使用其他命令,直接執行hdfs dfs就可以查看到所支持的所有命令。

接下來我們在瀏覽器裏查看文件系統,首先將剛剛刪除的文件put回去:

技術分享圖片

2.2查看文件信息

技術分享圖片

技術分享圖片

HDFS偽分布式環境操作