1. 程式人生 > >hadoop fs 命令使用(轉)

hadoop fs 命令使用(轉)

轉載自:https://blog.csdn.net/mulangren1988/article/details/54860924

hadoop 檔案系統配置檔案按如下查詢順序

1. hadoop jar裡的hadoop-default.xml
2. $HADOOP_CONF_DIR下的hadoop-default.xml
3. $HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表將本地檔案系統作為hadoop的DFS。
4. 如果傳遞uri做引數,那麼就是特定的檔案系統作為DFS。

命令詳情

1. Hadoop fs –fs [local | <file system URI>]:

列出在指定目錄下的檔案內容,支援pattern匹配。輸出格式如filename(full path)   <r n> size. 其中n代表replica的個數,size代表大小(單位bytes)。
2. hadoop fs –ls <path>

遞迴列出匹配pattern的檔案資訊,類似ls,只不過遞迴列出所有子目錄資訊。
3. hadoop fs –lsr <path>:

列出匹配pattern的指定的檔案系統空間總量(單位bytes),等價於unix下的針對目錄的du –sb <path>/*和針對檔案的du –b <path> ,輸出格式如name(full path)  size(in bytes)。
4. hadoop fs –du <path>

等價於-du,輸出格式也相同,只不過等價於unix的du -sb。
5. hadoop fs –dus <path>

將制定格式的檔案 move到指定的目標位置。當src為多個檔案時,dst必須是個目錄。
6. hadoop fs –mv <src> <dst>

拷貝檔案到目標位置,當src為多個檔案時,dst必須是個目錄。
7. hadoop fs –cp <src> <dst>

刪除匹配pattern的指定檔案,等價於unix下的rm <src>
8. hadoop fs –rm [-skipTrash] <src>

遞迴刪掉所有的檔案和目錄,等價於unix下的rm –rf <src>
9. hadoop fs –rmr [skipTrash] <src>

等價於unix的rm –rfi <src>
10. hadoop fs –rmi [skipTrash] <src>

從本地系統拷貝檔案到DFS
11. hadoop fs –put <localsrc> … <dst>

等價於-put
12. hadoop fs –copyFromLocal <localsrc> … <dst>

等同於-put,只不過原始檔在拷貝後被刪除
13. hadoop fs –moveFromLocal <localsrc> … <dst>

從DFS拷貝檔案到本地檔案系統,檔案匹配pattern,若是多個檔案,則dst必須是目錄
14. hadoop fs –get [-ignoreCrc] [-crc] <src> <localdst>

顧名思義,從DFS拷貝多個檔案、合併排序為一個檔案到本地檔案系統
15. hadoop fs –getmerge <src> <localdst>

 輸出檔案內容
16. hadoop fs –cat <src>

等價於-get
17. hadoop fs –copyToLocal [-ignoreCrc] [-crc] <src> <localdst>

在指定位置建立目錄
18. hadoop fs –mkdir <path>

設定檔案的備份級別,-R標誌控制是否遞迴設定子目錄及檔案
19. hadoop fs –setrep [-R] [-w] <rep> <path/file>

修改檔案的許可權,-R標記遞迴修改。MODE為a+r,g-w,+rwx等,OCTALMODE為755這樣
20. hadoop fs –chmod [-R] <MODE[,MODE]…|OCTALMODE> PATH…

修改檔案的所有者和組。-R表示遞迴
21. hadoop fs -chown [-R] [OWNER][:[GROUP]] PATH…

等價於-chown … :GROUP …
22. hadoop fs -chgrp [-R] GROUP PATH…

計數檔案個數及所佔空間的詳情,輸出表格的列的含義依次為:DIR_COUNT,FILE_COUNT,CONTENT_SIZE,FILE_NAME或者如果加了-q的話,還會列出QUOTA,REMAINING_QUOTA,SPACE_QUOTA,REMAINING_SPACE_QUOTA
23. hadoop fs –count[-q] <path>