搭建基於MyEclipse的Hadoop開發環境
搭建基於MyEclipse的Hadoop開發環境
1.安裝myeclipse的hadoop外掛
- 開啟MyEclipse，檢視是否已經安裝過
window -> preferences
沒有顯示Hadoop Map/Reduce，則說明MyEclipse是沒有安裝過Hadoop的外掛，而我這個有，是因為我已經安裝了hadoop外掛。
首先，確認你本地的Windows上已經安裝JDK和MyEclipse，並能開發java程式。
- 下載Eclipse的Hadoop外掛hadoop-eclipse-plugin-7.3
將下載下來的jar檔案放入安裝的MyEclipse -2015\dropins目錄下，然後重啟MyEclipse。
- 重啟後，出現了Hadoop Map/Reduce，說明在myeclipse安裝hadoop外掛成功
2.本地的hadoop安裝
- 將hadoop-2.7.4.tar.gz解壓成hadoop-2.7.4，放到D盤重啟MyEclipse，選單的Windows -> Preferences 中會多出一個 Hadoop Map/Reduce的項。點選這一項，右側選擇你的Hadoop存放目錄 （D:\ hadoop-2.7.4）
- 配置環境變數
變數名 值
HADOOP_HOME D:\hadoop-2.7.4
Path D:\hadoop-2.7.4\bin
新建環境變數HADOOP_HOME，變數值為D:\hadoop-2.7.4
修改Path變數，新增D:\hadoop-2.7.4\bin(或者%HADOOP_HOME%\bin)
- 新增Map/Reduce Location
將myeclipse切換到Map/Reduce檢視
底部操作區會出現Map/Reduce Locations項，如下圖所示：
在上圖所示區域點選滑鼠右鍵或者如上圖所示點選它也行，然後New Hadoop location.
在彈出的介面中做如下設定：
- 以管理員身份執行記事本，開啟hosts檔案。
- 修改引數
50020 -> 50070 （50070是MapReduce的Web介面）
50040-> 9000
kekvin -> hadoop
- 啟動叢集
cd /usr/java/hadoop
sbin/start-all.sh
jps
這就表明，hadoop與本地的myeclipse搭建成功。
- 新建一個MapReduce專案
1. 新建cnq.txt，用來測試，通過hadoop自帶的wordcount程式來測試。
ls
vi cnq.txt
2. 新增一些資料，如：
caonanqing hadoop
caonanqing hadoop
caonanqing hadoop
:wq儲存退出
3. 檢視hdfs的檔案目錄
hadoop fs -ls / 檢視
hadoop fs -mkdir /caonanqing 新建caonanqing目錄
hadoop fs -ls / 檢視
hadoop fs -put /usr/java/hadoop/cnq.txt /caonanqing 將/usr/java/hadoop/cnq.txt 輸出到 /caonanqing
hadoop fs -ls /caonanqing 檢視caonanqing目錄
4. 執行Hadoop自帶的wordcount程式來測試執行下
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /caonanqing/cnq.txt /caonanqing/wordcount-out
5. 新建一個專案
File -> New -> Map/Reduce Project
6. 新建包package
com.caonanqing.hadoop.test
7. 新建一個WordCount類
8. 看下WordCount自帶的程式
改之前：
改之後：
9. window -> show view -> other ->
