3、安裝Hadoop

1、window上裝

   （建議xp 玩玩就行了，實際要在linux）

1.1、裝JDK（不要裝到帶空格等目錄中。。）

1.2、安裝cygwin

需要安裝oenSSL、VIM、Base

1.3、在cygwin安裝SSHD

  ssh-host-config

1.4、啟動SSHD

  net start sshd

1.5、實現ssh無密碼登入

   ssh-keygen

完成後會在~/.ssh/生成兩個檔案：id_dsa和id_dsa.pub

  Cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 完成

1.6、安裝hadoop

  下載解壓即可

1.7、配置

  先了解概念：

     HDFS NameNode 管理節點 DataNode 資料節點 SecondaryNameNode資料來源資訊備份整理節點

     MapReduce JobTracker 任務管理節點 TaskTracker 任務執行節點

     配置檔案

        core-site.xml common屬性配置

        hdfs-site.xml HDFS屬性配置

        mapred-site.xml MapReduce屬性配置

        hadoop-env.sh hadoop環境變數配置

修改hadoop-env.conf-à加 export JAVA_HONME

其他的修改下載ppt看吧，不記了。

接下來啟動hadoop，還是看ppt吧，ppt上挺全的；

在win上邊就是玩玩，實際環境還是linux。

2、linux上裝

ubuntu開發即可，之前用過，挺好的；

1、安裝jdk，jdk需要下bin結尾的那個

2、配置JAVA_HOME及PATH環境變數，具體請參考ppt，加到.bashrc  然後執行 . .hashrc

步驟和win上差不多。還沒裝ubuntu系統，目前就用win的吧。

3、HadoopUI

50070埠-àhdfs   50030--àjobTracker

HDFS通訊埠à9000  MapReduce通訊埠à9001

管理介面 

通過UI可操作如檔案系統、日誌

4、word counter

1、生成兩個檔案 如input/file1 input/file2

2、在HDFS上建個目錄，如hadoop fs –mkdir /tmp/input

3、把file1、分file放入HDFS  hadoop fs –put input/* /tmp/input

4、檢視 hadoop fs –ls /tmp/input

5、執行wordcounter

 hadoop jar hadoop-example-1.0.0.jar wordcounter  /tmp/input /tmp/output

6、執行完檢視結果

 hadoop fs –cat /tmp/output/part –r -00000

5、整合Eclipse

1、新增jar包

2、複製配置檔案

3、不要用外掛