問題描述

1.雖然目前大多數平臺內建Application在提交時，只配置了–num-executors和–executor-memory引數，但是其他APP的開發者可能會配置–executor-cores引數。

舉個例子：

./spark-submit –master yarn-client –executor-cores 4 –num-executors 6  –executor-memory 10g –driver-memory 2g   –jars xxJar –class xxxApp 

即有6個executor，每個executor的cores數目為4。不過當你提交任務時，你一定會非常吃驚，因為yarn 8088上展示的vcores會是7。看起來就像是引數設定並未生效一樣。

問題分析與解決

兩個原因：
1.配置不對
其實這是因為我們的capacity schedule使用的是DefaultResourceCalculator，那麼DefaultResourceCalculator它在載入container時其實僅僅只會考慮記憶體而不考慮cores。所以，如果我們想讓它既考慮記憶體也考慮cores的話，需要將$HADOOP_HOME/etc/hadoop/capacity-scheduler.xml中的：

<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>
</property>
 

修改為：

<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>

請注意每個節點的配置檔案都需要修改。並且重啟hadoop。
這時再提交spark application，vcores used的數目就對了。
=25=4*6+1

另外，如果不期望在命令中寫executor-cores引數，可以在$SPARK_HOME/conf/spark-env.sh裡配置：

export SPARK_EXECUTOR_CORES=4

這樣預設executor-cores就為4了。

2.本身機器資源就不夠，並且開啟了動態資源申請，這種情況的解決方案不用說了要麼加資源，要麼關閉動態資源申請，然後讓任務在有資源的時候再執行