Standalone

需要通過bin/spark-submit來提交

必需引數 --class --master舉例如下：

/home/bigdata/hadoop/spark-2.1.1-bin-hadoop2.7/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master01:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
/home/bigdata/hadoop/spark-2.1.1-bin-hadoop2.7/examples/jars/spark-
examples_2.11-2.1.1.jar \
100
 

該演算法是利用蒙特·卡羅演算法求 PI

yarn

/home/bigdata/hadoop/spark-2.1.1-bin-hadoop2.7/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
/home/bigdata/hadoop/spark-2.1.1-bin-hadoop2.7/examples/jars/spark-
examples_2.11-2.1.1.jar \
100
 

一旦打包好,就可以使用 bin/spark-submit 指令碼啟動應用了. 這個指令碼負責設定 spark 使用的 classpath 和依賴,支援不同型別的叢集管理器和釋出模式

一些常用選項:
1) --class: 你的應用的啟動類 (如 org.apache.spark.examples.SparkPi)
2) --master: 叢集的 master URL (如 spark://23.195.26.187:7077)
3) --deploy-mode: 是否釋出你的驅動到 worker 節點(cluster) 或者作為一個本地客戶端 (client) (default: client)*
4) --conf: 任意的 Spark 配置屬性， 格式 key=value. 如果值包含空格，可以加引號“key=value”. 預設的 Spark 配置
5) application-jar: 打包好的應用 jar,包含依賴. 這個 URL 在叢集中全域性可見。比如 hdfs:// 共享儲存系統， 如果是 file:// path， 那麼所有的節點的 path都包含同樣的 jar.

6) application-arguments: 傳給 main()方法的引數:

檢視 Spark-submit 全部引數

所有的提交方式