win系統下的eclipse連接和使用linux上的hadoop集群
準備工作
先在win系統的hosts文件中加入下面內容
10.61.6.164master //hadoop集群的master節點
一、首先在eclipse上安裝hadoop插件
下載hadoop-eclipse-plugin-1.1.2.jar。將其復制到eclipse 安裝文件夾下的plugins,再啟動eclispe。這時在eclipse的File/New/other下會看到一下的內容,證明插件成功安裝
二、在Window/show view/other裏打開Map/Reduce Locations
打開後會有下圖所看到的的窗體。點擊右側的紫色小象
會彈出下圖所看到的的窗體
然後配置你的連接信息:
Location name:自己能夠定義為不論什麽名字
Host:是你的hadoop集群的master節點的ip地址
Port:必需按上圖配置,當然假設你配置hadoop集群時將默認port換了,此處則為你自己改動的port號
配置完以後會在左側文件夾欄裏看到
三、配置程序執行參數(你的項目必需是mapreduce項目,而且已經加入hadoop裏的全部jar包)
先在你的項目下建立一個in文件夾,並將data數據文件復制到當中,再將你的項目導出問jar文件。然後在你的項目的main函數裏加入下面代碼
conf.set("mapred.jar", "E://FreqItemSet.jar");//mapred.jar不能更改
右擊你的項目。選擇Run as/Run Configurations
點擊Arguments
在裏面加入上圖中的內容
Lee 文件在HDFS上的存儲路徑<dfs_path>
in/data 輸入文件(本地路徑)<input>
3 項集的大小k
1 支持度閾值<spt_dg>
out 輸出文件<本地路徑><output>
點擊ok你的項目就可以連接和使用你的hadoop集群了
win系統下的eclipse連接和使用linux上的hadoop集群