大資料-Hadoop生態(6)-HDFS的shell操作
阿新 • • 發佈:2018-12-07
1.基本語法
使用 hadoop fs 具體命令 或者 hdfs dfs 具體命令
hadoop命令的shell原始碼
hdfs命令的shell原始碼
由此可見,這兩個命令最後都是執行的一個java類的,而下面兩張圖是分別是fs和dfs的執行java類,是同一個類
所以,這兩個方法是沒有任何區別的,使用哪一個都可以
2. 命令大全
3.命令實操
啟動Hadoop叢集
#啟動NameNode 和 DataNode start-dfs.sh #啟動ResourceManager 和 NodeManager start-yarn.sh
顯示目錄資訊
hadoop fs -ls 路徑
再HDFS上建立目錄
hadoop fs -mkdir -p 路徑
從本地剪下到HDFS上
hadoop fs -moveFromLocal 原始檔路徑 目標路徑
追加一個檔案到已存在檔案的末尾
hadoop fs -appendToFile 原始檔路徑 要追加到的檔案路徑
顯示檔案內容
hadoop fs -cat 檔案路徑
-chgrp 、-chmod、-chown:Linux檔案系統中的用法一樣,修改檔案所屬許可權
#修改檔案許可權 hadoop fs-chmod 777 檔案路徑 #修改檔案所屬 hadoop fs -chown nty:nty 檔案路徑
從本地檔案系統中拷貝檔案到HDFS上
hadoop fs -put 本地檔案路徑 HDFS目標路徑
也可以使用 -copyFromLocal命令,檢視help可見,與put方法一樣~
從HDFS的一個路徑拷貝到HDFS的另一個路徑
hadoop fs -cp 原始檔路徑 目標路徑
再HDFS目錄中移動檔案
hadoop fs -mv 要移動的檔案路徑 目標路徑
從HDFS上下載檔案到本地
hadoop fs -get HDFS上的檔案路徑 本地目標路徑
也可以使用-copyToLocal命令代替
合併下載多個檔案
#可以使用萬用字元* hadoop fs -getmerge HDFS檔案路徑/* 本地檔案路徑
刪除資料夾或檔案
hadoop fs -rm 要刪除的檔案路徑
統計資料夾大小資訊
hadoop fs -du -s -h 要統計的檔案路徑
以上命令的具體引數,請自行查閱help指令 -_-!