spark2.1與hadoop2.7.3集成，spark on yarn模式下，需要對hadoop的配置文件yarn-site.xml增加內容，如下：

<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
</property>
<property>
        <name>yarn.log.server.url</name>
        <value>http://
 
node2:19888/jobhistory/logs</value>
</property>
<property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
</property>
<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false
 
</value>
</property>

1、我先運行一個spark程序

bin/spark-shell --master local

2、登錄Spark History server的web ui

http://node1:18080/

3、如下圖，找到我剛才運行的程序

4、點擊紅框位置App ID，進入如下圖頁面

5、點擊紅框位置Executor，進入下圖頁面

6、右下角的stderr和stdout就是我們此行的目標了

<property>
        <name>yarn.log.server.url</name>
        <value>http://
 
node2:19888/jobhistory/logs</value>
</property>

當你點擊stderr或stdout，就會重定向到node2:19888。如下圖

spark深入：配置文件與日誌