Hadoop預設埠表及用途

9 M+ I1 T; l# h4 r. }6 R: f; Z4 p
其中最常用的應該是50070和8088了，WEB介面中監控hdfs:0 _. `+ b2 Z# d6 g9 s
http://ip:50070/
WEB介面中監控任務執行狀況：) [; `- m& Q, t

在搭建hadoop叢集的時候 ，主要要注意的就是一下幾個方面:

1.linux環境的配置,包括關閉防火牆、配置master到slaves的無密碼ssh登入等

2.hadoop的安裝，所有的機器上的安裝路徑要完全相同，JAVA_HOME變數要在hadoop_env.sh檔案中重新設定，

還有{HADOOP_DIR}/etc/hadoop目錄下面的一堆配置檔案要配置好。

3.注意{HADOOP_DIR}/etc/hadoop 這個目錄下面沒有slaves檔案的話，就要手動建立一個該檔案。然後在裡面寫上作為datanode的節點的主機名eg:

cloud002

cloud003

cloud004

今天碰到了一個非常坑爹的問題，搞了好久，總算搞定了，問題是這樣的：

我在mac本機搭建了一個hadoop 的偽叢集，運行了一個job後，能通過yarn的8088埠看到job的執行情況。

但是在virtualbox虛擬機器中構建了一個包含四臺centos的hadoop完全分散式叢集，也能成功的執行一個job，但就是在yarn的8088埠上 看不到job的執行情況，各種查資料想辦法，就是百思不得其解，後來總算在StackOverflow上無意間看到一個人說道一句話，"job可能實在本地執行的，並沒有在叢集中執行"，後來仔細檢查了配置檔案，終於被我發現了一個天大的疏忽，在mapred-site.xml檔案中，配置mapredduce的runner的時候，本來應該配置成yarn的：

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

而我不小心寫成了:

<property>

    <name>mapreduce.frame.name</name>

    <value>yarn</value>

  </property>

這個配置屬性名寫錯了，所以hadoop在執行job的時候還是以local作文runner來執行job的，並不是以yarn來執行job的。所以之前mac本機的偽叢集是可以在yarn的8088

埠上看到job的執行情況，但是在virtualbox中的完全分散式叢集中，卻不能通過yarn的8088埠看到job的執行情況。

不管是寫配置檔案還是 具體的專案程式碼的時候，都要萬分小心仔細，不然 像這樣不小心的疏忽可能造成巨大的坑，導致浪費大量的時間精力，而且像這種

由於自己寫錯導致的太垂直的問題，網上也很難找到答案，引以為戒，一定要用心！！