前提

配置

Yarn架構配置

【mapred-site.xml.temple配置】	
先重新命名為mapred-site.xml
<configuration>
	<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value> # 指定mapreduce基於yarn執行
    </property>
</configuration>


【yarn-site.xml配置】
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value> # 指定mapreduce的時候使用shuffle過程
    </property>
	<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>dong-01.cym.com</value> # 指定resourcemanager所在伺服器主機名
    </property>
</configuration>

啟動：
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

本地訪問：dong.cym.com:8088
 

1. 將mapred-site.xml.template拷貝一份

2.配置mapred-site.xml

3.配置yarn-site.xml

4.啟動

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

5.本地訪問（主機名:8088）

測試（使用yarn跑任務，使用官方案例jar包）

1.統計詞頻案例執行

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /test.txt /output
 

2.檢視結果

配置日誌檔案（日誌聚合）

【MapReduce historyserver】
1、歷史伺服器：檢視已經執行完成的應用記錄
		修改mapred-site.xml
		指定historyserver的地址，內部和外部通訊埠號，如果不指定預設是本機
		historyserver是一個輕量級的服務，可以部署在任意一臺節點上
2、配置（在mapred-site.xml中）：
	注意：這裡的埠號不能隨便修改
	<property>
	  <name>mapreduce.jobhistory.address</name>
	  <value>bigdata-04:10020</value>
	</property>
	<property>
	  <name>mapreduce.jobhistory.webapp.address</name>
	  <value>bigdata-04:19888</value>	  
	</property>

啟動：sbin/mr-jobhistory-daemon.sh start historyserver
【日誌聚合功能】
1、修改yarn-site.xml
	指定開啟聚合功能
	指定日誌存放在HDFS上的時間期限，一般建議3-7天左右，存放在HDFS的/tmp/使用者之下
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>106800</value>
	</property> 
2、重啟yarn程序
 

不配置，那麼yarn上的history點選無法顯示

1.配置mapred-site.xml檔案

2.配置yarn-site.xml檔案（開啟日誌聚合）

3.重啟yarn

• 新增可執行許可權

• 關閉服務

• 開啟服務

• 還需要開始日誌服務

• sbin/mr-jobhistory-daemon.sh start historyserver

• 重新跑一個任務，檢視日誌

如果還有問題，檢查下伺服器防火牆有沒有關閉

hdfs下tmp目錄的許可權問題

• 更改許可權
• bin/hdfs dfs -chmod -R 777 /tmp

其他（更改yarn介面右上角的使用者名稱）

• 修改core-site.xml檔案

• 重啟服務，檢視