Spark standalone叢集搭建：

1、上傳解壓 tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz

2、修改安裝包的名稱（最好保留版本號）mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0

3、進入conf目錄，修改slaves和Spark-env.sh

slaves（Worker程序所在的節點）：

node2

node3

node4

spark-env.sh

export SPARK_MASTER_IP=hadoop1 Matser的IP

export SPARK_MASTER_PORT=7077 提交任務的埠

export SPARK_WORKER_CORES=2 每個Worker程序管理2個core

export SPARK_WORKER_MEMORY=2G 每個Worker程序管理2G記憶體

export SPARK_WORKER_INSTANCES=1 在每個虛擬機器或者真實的物理機上啟動的Worker的數量 defult 1

4、將安裝包同步到其他的節點上 scp -r spark-1.6.0 [email protected]:/opt/local/

5、如果想要修改master的監控埠 在start-master.sh 腳本里面修改 不修改預設8080

6,啟動sbin目錄下./start-all.sh

測試：bin目錄下

./spark-submit --master spark://node1:7077 --deploy-mode cluster --

total-executor-cores 3 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000

./spark-submit --master spark://node1:7077 --deploy-mode cluster 提交模式(defult:client,cluster)

--total-executor-cores 3(小於叢集core的總數) 叢集為當前的application奉獻了3個core

--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000(併發度 使用1000個執行緒來計算)

Spark standalone模式

Master：資源管理的主節點，掌握叢集的資源情況

實際上就是一個程序

Worker：只是管理某一臺機器 或者 管理某一部分資源 2G記憶體和2個core

也是一個程序，Worker會管理他所在機器的資源

Driver：與任務排程有關

Spark 在Standalone上執行分為兩種模式

node1 master 也是提交應用程式的客戶端

node2 worker

node3 worker

node4 worker

1、client 測試程式

Driver程序是在客戶端啟動的

Driver（SparkContext物件）的作用：

分發任務

回收task的計算結果

回收task的執行情況

心跳

可以在提交應用程式的客戶端上監控task的執行情況

適應場景：

測試 生產環境下為什麼不使用client模式？

如果我要提交100個application到叢集執行，Driver每次都會在client節點啟動，那麼就會操作客戶端100次網絡卡流量暴增的問題

2、cluster 適合在生產環境

Driver程序是在叢集某一臺Worker上啟動的

是無法檢視task的執行情況的

如果我要提交100個application到叢集執行，每次Driver會隨機在某一臺Worker上啟動，那麼這100次網絡卡流量暴增的問題就散佈在叢集上的