1. 程式人生 > >win系統下的eclipse連接和使用linux上的hadoop集群

win系統下的eclipse連接和使用linux上的hadoop集群

con rgb ip地址 content col 準備 右擊 ack max

準備工作

先在win系統的hosts文件中加入下面內容

10.61.6.164master //hadoop集群的master節點



一、首先在eclipse上安裝hadoop插件

下載hadoop-eclipse-plugin-1.1.2.jar。將其復制到eclipse 安裝文件夾下的plugins,再啟動eclispe。這時在eclipse的File/New/other下會看到一下的內容,證明插件成功安裝

技術分享

二、在Window/show view/other裏打開Map/Reduce Locations

技術分享

打開後會有下圖所看到的的窗體。點擊右側的紫色小象

技術分享

會彈出下圖所看到的的窗體

技術分享

然後配置你的連接信息:

Location name:自己能夠定義為不論什麽名字

Host:是你的hadoop集群的master節點的ip地址

Port:必需按上圖配置,當然假設你配置hadoop集群時將默認port換了,此處則為你自己改動的port號


配置完以後會在左側文件夾欄裏看到

技術分享

三、配置程序執行參數(你的項目必需是mapreduce項目,而且已經加入hadoop裏的全部jar包)

先在你的項目下建立一個in文件夾,並將data數據文件復制到當中,再將你的項目導出問jar文件。然後在你的項目的main函數裏加入下面代碼

conf.set("mapred.jar", "E://FreqItemSet.jar");//mapred.jar不能更改


右擊你的項目。選擇Run as/Run Configurations

技術分享

點擊Arguments

在裏面加入上圖中的內容

Lee 文件在HDFS上的存儲路徑<dfs_path>

in/data 輸入文件(本地路徑)<input>

3 項集的大小k

1 支持度閾值<spt_dg>

out 輸出文件<本地路徑><output>

點擊ok你的項目就可以連接和使用你的hadoop集群了


win系統下的eclipse連接和使用linux上的hadoop集群