Spark2.3.1中用各種模式來跑官方Demo
阿新 • • 發佈：2018-09-28
ast 使用 進入 -c clas 技術分享 home str strong
1 使用單機local模式提交任務
local模式也就是本地模式，也就是在本地機器上單機執行程序。使用這個模式的話，並不需要啟動Hadoop集群，也不需要啟動Spark集群，只要有一臺機器上安裝了JDK、Scala、Spark即可運行。
進入到Spark2.1.1的安裝目錄，命令是：
cd /opt/spark/spark-2.1.1-bin-hadoop2.7
執行命令，用單機模式運行計算圓周率的Demo：
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.1.1.jar
如圖:
2 使用獨立的Spark集群模式提交任務
這種模式也就是Standalone模式，使用獨立的Spark集群模式提交任務，需要先啟動Spark集群，但是不需要啟動Hadoop集群。啟動Spark集群的方法是進入$SPARK_HOME/sbin目錄下，執行start-all.sh腳本，啟動成功後，可以訪問下面的地址看是否成功：
http://Spark的Marster機器的IP:8080/
如圖：
執行命令，用Standalone模式運行計算圓周率的Demo：
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://192.168.27.143:7077 examples/jars/spark-examples_2.11-2.1.1.jar
如圖:
Spark2.3.1中用各種模式來跑官方Demo