現在越來越多的場景，都是Spark跑在Hadoop集群中，所以為了做到資源能夠均衡調度，會使用YARN來做為Spark的Cluster Manager，來為Spark的應用程序分配資源。

在執行Spark應用程序前，要啟動Hadoop的各種服務。由於已經有了資源管理器，所以不需要啟動Spark的Master、Worker守護進程。相關配置的修改，請自行研究。

使用如下命令執行應用程序

提交應用程序後，各節點會啟動相關的JVM進程，如下：

在Resource Manager節點上提交應用程序，會生成SparkSubmit進程，該進程會執行driver程序。

RM會在集群中的某個NodeManager上，啟動一個ExecutorLauncher進程，來做為ApplicationMaster。另外，也會在多個NodeManager上生成CoarseGrainedExecutorBackend進程來並發的執行應用程序。

對應的YARN資源管理的單元Container，關系如下：

為ApplicationMaster生成了容器 000001;

為CoarseGrainedExecutorBackend生成了容器 000002-000003

轉載自：
作者：俺是亮哥
鏈接：https://www.jianshu.com/p/65a3476757a5
來源：簡書

Spark運行模式_基於YARN的Resource Manager的Client模式（集群）