linux安裝hadoop配置Yarn
(1)export JAVA_HOME=/home/xxx/jdk1.6.0_242. 設定ssh免登入
(2)export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
(3)export PATH=$JAVA_HOME/bin:$PATH
(1) 在機器A上執行ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa，這個命令會在.ssh資料夾下產生id_dsa和id_dsa.pub兩個檔案，這是ssh的一對私鑰和公鑰；
(2) 將A的公鑰id_dsa.pub分發出去，比如要實現A到B的登入，則將A的公鑰註冊到B機器的autorized_keys中去；在A上執行cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys，因為本地也需要打通；在B上執行cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys，注意id_dsa.pub是A的公鑰；
3. 下載解壓hadoop-2.0.5-alpha，進入到hadoop-2.0.5-alpha/etc/hadoop做如下修改
其中core-env.sh,hdfs-env.sh,mapred-env.sh,yarn-env.sh中的java路徑要改成目前使用的java路徑。
(1) 修改core-site.xml，配置hdfs
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
(2) 將mapred-site.xml.template重新命名為mapred-site.xml，配置為yarn模式<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
(3) 修改yarn-site.xml
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
(4) 修改hdfs-site.xml<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration>
(6) 啟動hdfs
可以使用以下命令分別啟動NameNode和DataNode
bin/hadoop namenode -format
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode （如果有多個datanode，需要使用hadoop-daemons.sh）
或者一次啟動：sbin/start-dfs.sh
(7) 啟動yarn
可以使用以下命令分別啟動ResourceManager和NodeManager
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager（若有多個nodemanager，需要使用yarn-daemons.sh）
或者一次啟動：sbin/start-yarn.sh
啟動 Hadoop 時提示 Could not resolve hostname
如果啟動 Hadoop 時遇到輸出非常多“ssh: Could not resolve hostname xxx”的異常情況，如下圖所示：
啟動Hadoop時的異常提示
這個並不是 ssh 的問題，可通過設定 Hadoop 環境變數來解決。首先按鍵盤的 ctrl + c 中斷啟動，然後在 ~/.bashrc 中，增加如下兩行內容（設定過程與 JAVA_HOME 變數一樣，其中 HADOOP_HOME 為 Hadoop 的安裝目錄）：
- export HADOOP_HOME=/usr/local/hadoop
- export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
儲存後，務必執行 source ~/.bashrc 使變數設定生效，然後再次執行 ./sbin/start-dfs.sh 啟動
Hadoop。
啟動完成後，可以通過命令 jps 來判斷是否成功啟動，若成功啟動則會列出如下程序:
“NameNode”、”DataNode” 和 “SecondaryNameNode”（如果 SecondaryNameNode 沒有啟動，請執行 sbin/stop-dfs.sh 關閉程序，然後再次嘗試啟動嘗試）。如果沒有 NameNode 或 DataNode ，那就是配置不成功，請仔細檢查之前步驟，或通過檢視啟動日誌排查原因。
通過jps檢視啟動的Hadoop程序
一般可以檢視啟動日誌來排查原因，注意幾點：
- 啟動時會提示形如 “DBLab-XMU: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”，其中 DBLab-XMU 對應你的機器名，但其實啟動日誌資訊是記錄在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log 中，所以應該檢視這個字尾為 .log 的檔案；
- 每一次的啟動日誌都是追加在日誌檔案之後，所以得拉到最後面看，對比下記錄的時間就知道了。
- 一般出錯的提示在最後面，通常是寫著 Fatal、Error、Warning 或者 Java Exception 的地方。
- 可以在網上搜索一下出錯資訊，看能否找到一些相關的解決方法。
此外，若是 DataNode 沒有啟動，可嘗試如下的方法（注意這會刪除 HDFS 中原有的所有資料，如果原有的資料很重要請不要這樣做）：
- # 針對 DataNode 沒法啟動的解決方法
- ./sbin/stop-dfs.sh # 關閉
- rm -r ./tmp # 刪除 tmp 檔案，注意這會刪除 HDFS 中原有的所有資料
- ./bin/hdfs namenode -format # 重新格式化 NameNode
- ./sbin/start-dfs.sh # 重啟
成功啟動後，可以訪問 Web 介面 http://localhost:50070 檢視 NameNode 和 Datanode 資訊，還可以線上檢視 HDFS 中的檔案。
開啟後通過 jps 檢視，可以看到多了 NodeManager 和 ResourceManager 兩個後臺程序，如下圖所示。
開啟YARN
啟動 YARN 之後，執行例項的方法還是一樣的，僅僅是資源管理方式、任務排程不同。觀察日誌資訊可以發現，不啟用 YARN 時，是 “mapred.LocalJobRunner” 在跑任務，啟用 YARN 之後，是 “mapred.YARNRunner” 在跑任務。啟動 YARN 有個好處是可以通過 Web 介面檢視任務的執行情況：http://localhost:8088/cluster，如下圖所示。
開啟YARN後可以檢視任務執行資訊
但 YARN 主要是為叢集提供更好的資源管理與任務排程，然而這在單機上體現不出價值，反而會使程式跑得稍慢些。因此在單機上是否開啟 YARN 就看實際情況了。
不啟動 YARN 需重新命名 mapred-site.xml如果不想啟動 YARN，務必把配置檔案 mapred-site.xml 重新命名，改成 mapred-site.xml.template，需要用時改回來就行。否則在該配置檔案存在，而未開啟 YARN 的情況下，執行程式會提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的錯誤，這也是為何該配置檔案初始檔名為 mapred-site.xml.template。