Spark on Yarn模式運行錯誤：

bin/spark-shell --master yarn --deploy-mode client

#報錯

?

查看8088頁面上的工作日誌

錯誤原因：在執行任務時檢測到虛擬機的內存太小，2.2g的虛擬內存實際值，超過了2.1g的上限，不能滿足該任務所需的內存要求，於是Yarn就幹掉了執行此任務的contrainer。

解決辦法：

在yarn-site.xml文件中加入以下兩項配置：

<property>

        <name>yarn.nodemanager.pmem-check-enabled</name>

        <value>false
 
</value>

    </property>

    <property>

        <name>yarn.nodemanager.vmem-check-enabled</name>

        <value>false</value>

    </property>

然後分發到另外兩個節點去（分發之前先停掉yarn服務）：

scp yarn-site.xml bigdata-pro01.kfk.com:/opt/modules/hadoop-2.6
 
.0/etc/Hadoop

scp yarn-site.xml bigdata-pro03.kfk.com:/opt/modules/hadoop-2.6.0/etc/Hadoop

#重新啟動yarn和spark

?

成功！

以上就是博主為大家介紹的這一板塊的主要內容，這都是博主自己的學習過程，希望能給大家帶來一定的指導作用，有用的還望大家點個支持，如果對你沒用也望包涵，有錯誤煩請指出。如有期待可關註博主以第一時間獲取更新哦，謝謝！同時也歡迎轉載，但必須在博文明顯位置標註原文地址，解釋權歸博主所有！

Spark on Yarn運行錯誤：Yarn application has already ended! It might have been killed or unable to launch application master