在Xshell 5中執行hadoop程式常用指令
阿新 • • 發佈：2018-12-25
前提條件：單詞計數程式編寫完成，並打包成了jar包
步驟：
1、將打包好的jar包拖拽到伺服器某個資料夾（要處理的檔案也同樣放到伺服器中，圖略），如下
2、將要處理的資料檔案上傳到HDFS
指令：hadoop fs -put 本地檔案所在目錄 HDFS中的目錄
注意事項：如果對絕對路徑相對路徑不是很熟悉的，就回到使用者主目錄指令 cd ~進行操作
3、執行程式
指令：hadoop jar xxx.jar xxx.WordCount 要處理的資料所在目錄 輸出目錄
注意事項：要在jar包所在資料夾下執行該指令
xxx.jar指你要執行的jar包
xxx.WordCount，前面xxx指你程式的package名，後面指你的main程式所在的類名
輸出目錄不能自己建立
5、檢視HDFS上的結果目錄，看到結果在wordcount裡面
指令：hadoop fs -ls 目錄
6、將結果從HDFS下載到伺服器
指令：
hadoops fs -copyToLocal 結果所在的檔案路徑/part-r-00000 要放在伺服器中的目錄/設定檔名
7、建立目錄
指令：
hadoop fs mkdir 目錄名8、刪除空目錄
指令：
hadoop fs -rmdir 目錄路徑9、刪除非空目錄
指令：
hadoop fs -rm -r -f 目錄路徑
總體注意事項：伺服器中的操作和linux基本沒多大區別，hadoop中執行某個程式常用的即以上幾條。