OneCoder在自己的筆記本上部署Hadoop環境用於研究學習，記錄部署過程和遇到的問題。

1、安裝JDK。
2、下載Hadoop(1.0.4)，在Hadoop中配置JAVA_HOME環境變數。修改hadoop-env.sh檔案。
export JAVA_HOME= /Library/Java/JavaVirtualMachines/jdk1.7.0_10.jdk/Contents/Home/
3、配置SSH
生成金鑰

ssh-keygen -t dsa -P '' -f ~/.ssh/onecoder_dsa

將公鑰追加到key中

cat ~/.ssh/onecoder_rsa.pub >> ~/.ssh/authorized_keys

開啟Mac OS的遠端訪問選項。系統設定 -》 共享 -》 遠端登入

4、配置namenode和datanode hdfs本地路徑
在hdfs-site.xml中配置

<property>
 <name>dfs.name.dir</name>
 <value>/Users/apple/Documents/hadoop/name/</value>
</property>
<property>
   <name>dfs.data.dir</name>
  <value>/Users/apple/Documents/hadoop/data/</value>
</property>
 <property> 
    <name>dfs.replication</name> 
    <value>1</value> 
 </property>

由於是驗證環境，所以資料備份設為1。

5、格式化namenode

bin/Hadoop NameNode -format

6、啟動hadoop

可通過bin下的start-all.sh直接全部啟動，也可以通過

hadoop namenode (datanode、jobtracker、tasktracker)

，按照上述順序依次啟動。
使用後者可以比較方便的檢視啟動日誌，方便查錯。並且也可以在控制檯日誌中看到監控頁面的訪問地址和埠。如：
13/04/04 15:52:18 INFO http.HttpServer: Jetty bound to port 50070
當然，這些地址你可以已經爛熟於胸了。通過瀏覽器進入web監控頁面檢視。可以看到一切就緒。Hadoop環境部署完成。

其他。
關於警告：Unable to load realm info from SCDynamicStore
網上給出的解決方案是：在hadoop-env.sh中設定

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

不過在OneCoder這裡無效，但是不影響Hadoop環境使用。