1. 程式人生 > >eclipse集成使用Hadoop插件運行WordCount程序

eclipse集成使用Hadoop插件運行WordCount程序

自帶 變量 dir span jar 更改 director sta 條件

雲地址:https://pan.baidu.com/s/1CmBAJMdcwCxLGuCwSTcJNw 密碼:qocw

前提條件:啟動集群 ,配置好JDK和hadoop環境變量 有必要刪除 虛擬機中的output文件 使用

[root@master sbin]# hadoop fs -rm -r /output
Deleted /output
[root@master sbin]# ll

給hadoop文件權限

[root@master sbin]# hadoop fs -chmod 777 /

1.打開eclopse的安裝包

技術分享圖片

把下載好的hadoop插件 hadoop-eclipse-plugin-2.6.0.jar放到如上的目錄下重啟ecliplse

配置hadoop安裝路徑

選擇 window-preferences-hadoop Map/Reduce - hadoop installation directory 命令選擇hadoop的安裝目錄

註意安裝目錄是你配置環境變量的hadoop不然當你創建wordCount項目的時候會缺少jar包導致不能運行

技術分享圖片

技術分享圖片

配置Map/reduce

單擊 window-show Perspective--other-Map/Reduce-ok 按鈕配置 Map/Reduce視圖

技術分享圖片

單機 window-show View-other-Map/reduce-ok按鈕顯示 Map/Reduce Locations 選項卡

技術分享圖片

技術分享圖片

如圖所示配置主機對應

技術分享圖片

技術分享圖片

如果你的集群配置成功的話

[root@master sbin]# jps
14036 NameNode
19319 Jps
14570 ResourceManager
14302 SecondaryNameNode

這四個配置文件都有的化

技術分享圖片

出現如下界面說明連接成功 否側會包一個

刷新項目

技術分享圖片

如果到這裏啦恭喜成功一半了

接下來需要更改hadoop的bin下的文件

如圖打開目錄

技術分享圖片

復制我的百度雲裏面的jar包hadoop-common-2.2.0-bin-master 不同的eclipse版本可能不同

把這個目錄下的所有文件copy到hadoop的bin目錄下 替換並增加

技術分享圖片

技術分享圖片

回到開發環境

新建woredCount項目

技術分享圖片

技術分享圖片

正如上圖描述hadoop如果配置成功這些jar包一個也不會少尤其是hadoop的jar

接下來需要我們下載的org包裏面的類復制到src目錄下為了防止報錯

技術分享圖片

技術分享圖片

直接copy org整個目錄到hello項目的src目錄下

技術分享圖片

接著找到hadoop自帶的提供WordCount示例wordCount.java類

技術分享圖片

技術分享圖片

技術分享圖片

改一下包明

技術分享圖片

就行了

由於文件沒有輸出所以到hadoop目錄下copy一個日誌文件

技術分享圖片

最後一步

技術分享圖片

技術分享圖片

hdfs://192.168.10.11:9000/input3
hdfs://192.168.10.11:9000/output/wordcount

技術分享圖片

直至控制臺打印輸出

技術分享圖片

成功

eclipse集成使用Hadoop插件運行WordCount程序