Spark核心原始碼深度剖析:基於Yarn的兩種提交模式深度剖析
1.Spark的三種提交模式
1、Spark核心架構,其實就是第一種模式,standalone模式,基於Spark自己的Master-Worker叢集。
2、第二種,是基於YARN的yarn-cluster模式。
3、第三種,是基於YARN的yarn-client模式。
4、如果,你要切換到第二種和第三種模式,很簡單,將我們之前用於提交spark應用程式的spark-submit指令碼,加上–master引數,設定為yarn-cluster,或yarn-client,即可。如果沒設定,那麼,就是standalone模式。