【HDFS】Hadoop2.x HDFS shell命令
1. hdfs dfs -appendToFile <localsrc> ... <dst>
可同時上傳多個檔案到HDFS裡面
2. hdfs dfs -cat URI [URI ...]
檢視檔案內容
3. hdfs dfs -chgrp [-R] GROUP URI [URI ...]
修改檔案所屬組
4. hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
修改檔案許可權
5. hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
修改檔案所有者，檔案所屬組，其他使用者的讀、寫、執行許可權
6. hdfs dfs -copyFromLocal <localsrc> URI
複製檔案到hdfs
7. hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
複製檔案到本地
8. hdfs dfs -count [-q] <paths>
統計檔案及資料夾數目
9. hdfs dfs -cp [-f] URI [URI ...] <dest>
Hadoop HDFS 檔案系統間的檔案複製
10. hdfs dfs -du [-s] [-h] URI [URI ...]
統計目錄下的檔案及大小
11. hdfs dfs -dus <args>
彙總目錄下的檔案總大小
12. hdfs dfs -expunge
清空回收站，檔案被刪除時，它首先會移到臨時目錄.Trash/中，當超過延遲時間之後，檔案才會被永久刪除
13. hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>
下載檔案到本地
14. hdfs dfs -getfacl [-R] <path>
檢視ACL （訪問許可權組擁有者）
15. hdfs dfs -getmerge <src> <localdst> [addnl]
合併下載檔案到本地
16. hdfs dfs -ls <args>
檢視目錄
17. hdfs dfs -lsr <args>
迴圈列出目錄、子目錄及檔案資訊
18. hdfs dfs -mkdir [-p] <paths>
建立空白資料夾
19. dfs -moveFromLocal <localsrc> <dst>
剪下檔案到hdfs
20. hdfs dfs -moveToLocal [-crc] <src> <dst>
剪下檔案到本地
21. hdfs dfs -mv URI [URI ...] <dest>
剪下hdfs檔案
22. hdfs dfs -put <localsrc> ... <dst>
上傳檔案
23. hdfs dfs -rm [-skipTrash] URI [URI ...]
刪除檔案/空白資料夾
24. hdfs dfs -rmr [-skipTrash] URI [URI ...]
遞迴刪除 刪除檔案及資料夾下的所有檔案
25. hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]
Sets Access Control Lists (ACLs) of files and directories.
Options:
- -b: Remove all but the base ACL entries. The entries for user, group and others are retained for compatibility with permission bits.
- -k: Remove the default ACL.
- -R: Apply operations to all files and directories recursively.
- -m: Modify ACL. New entries are added to the ACL, and existing entries are retained.
- -x: Remove specified ACL entries. Other ACL entries are retained.
- --set: Fully replace the ACL, discarding all existing entries. The acl_spec must include entries for user, group, and others for compatibility with permission bits.
- acl_spec: Comma separated list of ACL entries.
- path: File or directory to modify.
Examples:
- hdfs dfs -setfacl -m user:hadoop:rw- /file
- hdfs dfs -setfacl -x user:hadoop /file
- hdfs dfs -setfacl -b /file
- hdfs dfs -setfacl -k /dir
- hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file
- hdfs dfs -setfacl -R -m user:hadoop:r-x /dir
- hdfs dfs -setfacl -m default:user:hadoop:r-x /dir
Exit Code:
Returns 0 on success and non-zero on error.
26. hdfs dfs -setrep [-R] [-w] <numReplicas> <path>
修改副本數
27. hdfs dfs -stat URI [URI ...]
顯示檔案統計資訊
28. hdfs dfs -tail [-f] URI
檢視檔案尾部資訊
29. hdfs dfs -test -[ezd] URI
對PATH進行如下型別的檢查：
-e PATH是否存在，如果PATH存在，返回0，否則返回1
-z 檔案是否為空，如果長度為0，返回0，否則返回1
-d 是否為目錄，如果PATH為目錄，返回0，否則返回1
30. hdfs dfs -text <src>
檢視檔案內容
31. hdfs dfs -touchz URI [URI ...]
建立長度為0的空檔案