1. 程式人生 > >Hadoop——HDFS Shell操作

Hadoop——HDFS Shell操作

 

一.查詢目錄下的檔案

    1.查詢根目錄下的檔案

Hadoop fs -ls /

   

   2.查詢資料夾下的檔案

Hadoop fs  -ls /input

二.建立資料夾

hadoop fs -mkdir /檔名稱

  

三. 上傳本地檔案到HDFS中

hadoop fs -put 檔名稱  檔名稱    /上傳位置/

四.刪除檔案 

hadoop fs  -rm  /檔名稱

五.刪除資料夾

hadoop fs  -rm -r  資料夾名稱

六.從HDFS中複製檔案到本地

hadoop fs  -get     檔名稱

七.查詢檔案內容

hadoop fs  -cat   檔名稱

八.移動HDFS中的檔案

hadoop fs -mv    檔案位置以及要要移動的檔案    移動後的位置

九.檢查檔案系統健康情況

hdfs  fsck /

 

十.複製HDFS中的檔案

hadoop  fs  -cp  要複製的檔案位置以及檔案    複製後的位置

 

十一.顯示目錄檔案大小

hadoop   fs    -du    檔名稱

如果是目錄,則顯示總大小

十二.清空回收站    (看不到結果)

hadoop    fs   -expunge

 

其他的命令:

hadoop fs [generic options]

[-appendToFile <localsrc> ... <dst>]

[-cat [-ignoreCrc] <src> ...]

[-checksum <src> ...]

[-chgrp [-R] GROUP PATH...]

[-chmod [-R] <MODE[,MODE]... | OCTALMODE
> PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-copyFromLocal [-f] [-p] [-l] [-d] <localsrc> ... <dst>] [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] <path> ...] [-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>] [-createSnapshot <snapshotDir> [<snapshotName>]] [-deleteSnapshot <snapshotDir> <snapshotName>] [-df [-h] [<path> ...]] [-du [-s] [-h] [-x] <path> ...] [-expunge] [-find <path> ... <expression> ...] [-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-getfacl [-R] <path>] [-getfattr [-R] {-n name | -d} [-e en] <path>] [-getmerge [-nl] [-skip-empty-file] <src> <localdst>] [-help [cmd ...]] [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...]] [-mkdir [-p] <path> ...] [-moveFromLocal <localsrc> ... <dst>] [-moveToLocal <src> <localdst>] [-mv <src> ... <dst>] [-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>] [-renameSnapshot <snapshotDir> <oldName> <newName>] [-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...] [-rmdir [--ignore-fail-on-non-empty] <dir> ...] [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]] [-setfattr {-n name [-v value] | -x name} <path>] [-setrep [-R] [-w] <rep> <path> ...] [-stat [format] <path> ...] [-tail [-f] <file>] [-test -[defsz] <path>] [-text [-ignoreCrc] <src> ...] [-touchz <path> ...] [-truncate [-w] <length> <path> ...] [-usage [cmd ...]]