1. 程式人生 > >Hadoop上傳檔案到hdfs中

Hadoop上傳檔案到hdfs中

hadoop常見指令:

hdfs dfs -copyFromLocal /local/data /hdfs/data:將本地檔案上傳到 hdfs 上(原路徑只能是一個檔案)
hdfs dfs -put /tmp/ /hdfs/ :和 copyFromLocal 區別是,put 原路徑可以是資料夾等
hadoop fs -ls / :檢視根目錄檔案
hadoop fs -ls /tmp/data:檢視/tmp/data目錄
hadoop fs -cat /tmp/a.txt :檢視 a.txt,與 -text 一樣
hadoop fs -mkdir dir:建立目錄dir
hadoop fs -rmr dir:刪除目錄dir

出現 Call From master to localhost:9000 failed on connection exception…..的錯誤:
原因沒有開啟許可權:修改 /hadoop/etc/hadoop/hdfs.site.xml

找到dfs.permissions屬性修改為false(預設為true)OK了
這裡寫圖片描述

出現hdfs.DFSClient: DataStreamer Exception的問題:
原因:在進行namenode格式化時多次造成那麼spaceID不一致。

1.刪除core.site.xml中臨時檔案指定的目錄
這裡寫圖片描述

2.重新進行格式化
hadoop name -formate

3.啟動叢集
start-all.sh

4.創造目錄
hadoop fs -mkdir /user
hadoop fs -mkdir /user/root

5上傳檔案
hdfs dfs -put movie.csv /user/root/
這裡寫圖片描述