1. 程式人生 > >大資料-Hadoop生態(6)-HDFS的shell操作

大資料-Hadoop生態(6)-HDFS的shell操作

1.基本語法

使用 hadoop fs 具體命令   或者   hdfs dfs 具體命令

hadoop命令的shell原始碼

hdfs命令的shell原始碼

由此可見,這兩個命令最後都是執行的一個java類的,而下面兩張圖是分別是fs和dfs的執行java類,是同一個類

 

 所以,這兩個方法是沒有任何區別的,使用哪一個都可以

 2. 命令大全

 3.命令實操

啟動Hadoop叢集

#啟動NameNode 和 DataNode
start-dfs.sh
#啟動ResourceManager 和 NodeManager
start
-yarn.sh

顯示目錄資訊

hadoop fs -ls 路徑

再HDFS上建立目錄

hadoop fs -mkdir -p 路徑

從本地剪下到HDFS上

hadoop fs  -moveFromLocal  原始檔路徑  目標路徑

追加一個檔案到已存在檔案的末尾

hadoop fs -appendToFile 原始檔路徑 要追加到的檔案路徑

顯示檔案內容

hadoop fs -cat 檔案路徑

-chgrp 、-chmod、-chown:Linux檔案系統中的用法一樣,修改檔案所屬許可權

#修改檔案許可權
hadoop fs  
-chmod 777 檔案路徑 #修改檔案所屬 hadoop fs -chown nty:nty 檔案路徑

從本地檔案系統中拷貝檔案到HDFS上

hadoop fs -put 本地檔案路徑 HDFS目標路徑

也可以使用 -copyFromLocal命令,檢視help可見,與put方法一樣~

從HDFS的一個路徑拷貝到HDFS的另一個路徑

hadoop fs -cp 原始檔路徑 目標路徑

再HDFS目錄中移動檔案

hadoop fs -mv 要移動的檔案路徑  目標路徑

從HDFS上下載檔案到本地

hadoop fs -get HDFS上的檔案路徑 本地目標路徑

也可以使用-copyToLocal命令代替

合併下載多個檔案

#可以使用萬用字元*
hadoop fs -getmerge HDFS檔案路徑/*  本地檔案路徑

刪除資料夾或檔案

hadoop fs -rm 要刪除的檔案路徑

統計資料夾大小資訊

hadoop fs -du -s -h 要統計的檔案路徑

 

以上命令的具體引數,請自行查閱help指令 -_-!