1 Spark 叢集模式

• local: spark-shell --master local,預設的
• standlone

1.複製 spark 目錄到其他主機
2.配置其他主機的環境變數
3.配置 master 節點的 slaves 檔案
4.啟動 spark叢集，start-all.sh
5.WebUI: 8080

• YARN 模式
• mesos 模式

2 Spark叢集完全分散式 standlone

• spark-env.sh

export JAVA_HOME=/usr/apps/jdk1.8.0_181-amd64
export SCALA_HOME=/home/hadoop/apps/scala-2.11.12

SPARK_MASTER_HOST=node1
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g
SPARK_WORKER_INSTANCES=1
 

• slaves

node1
node2
node3

• 啟動

[[email protected] spark-2.2.2-bin-2.6.0-cdh5.7.0]$ ./sbin/start-all.sh

瀏覽器訪問 http://node1:8080/

2.1 start-all.sh 指令碼分析

1. sbin/spark-config.sh
2. sbin/spark-master.sh
3. sbin/spark-slaves.sh