1. 程式人生 > >Spark的運行模式(1)--Local和Standalone

Spark的運行模式(1)--Local和Standalone

而且 images sla 分享 cli 調度 eight cluster 我們

Spark一共有5種運行模式:Local,Standalone,Yarn-Cluster,Yarn-Client和Mesos。

1. Local

Local模式即單機模式,如果在命令語句中不加任何配置,則默認是Local模式,在本地運行。這也是部署、設置最簡單的一種模式

2. Standalone

Standalone是Spark自身實現的資源調度框架。如果我們只使用Spark進行大數據計算,不使用其他的計算框架(如MapReduce或者Storm)時,就采用Standalone模式。

Standalone模式的部署比較繁瑣,需要把Spark的部署包安裝到每一臺節點機器上,並且部署的目錄也必須相同,而且需要Master節點和其他節點實現SSH無密碼登錄。啟動時,需要先啟動Spark的Master和Slave節點。

技術分享

其中master:7077是Spark的Master節點的主機名和端口號。

Spark的運行模式(1)--Local和Standalone