1. 程式人生 > >Hadoop中HDFS檔案系統下的Shell操作

Hadoop中HDFS檔案系統下的Shell操作

執行start-all.sh啟動Hadoop,啟動完成後使用jps命令可以看到開啟了5個Java程序,NameNode,SecondaryNameNode,DataNode,JobTracker和TaskTracker。


對HDFS檔案系統進行Shell操作,無非就是檢視,新建檔案資料夾等習以為常的命令。

1.檢視目錄檔案

hadoop fs -ls / 檢視hdfs根目錄下的檔案


hadoop fs -lsr  / 進行遞迴檢視檔案


關於第2列代表該檔案的副本數,資料夾沒有副本

hadoop fs -mkdir /dir 建立資料夾


hadoop fs -put  Linux下原始檔路徑 hdfs中的路徑: 上傳檔案到HDFS檔案系統中


如果HDFS中已經存在該檔案,那麼直接上傳會報錯,檔案不會被覆蓋。如果第二個路徑是個資料夾,那麼會上傳到資料夾中,如果不存在,那麼會生成一個檔案而非新建一個資料夾。

hadoop fs -get <hdfs 檔案路徑>  <linux路徑> :下載檔案到本地


hadoop fs -text <HDFS檔案> 直接檢視HDFS檔案


hadoop  fs -rm <HDFS檔案> 刪除檔案

hadoop  fs -rmr <HDFS資料夾> 刪除檔案

其他命令 使用 hadoop fs


幫助命令 hadoop fs -help 命令


其他的類似,如使用hadoop job 即可顯示hadoop 中關於Job的一些命令