2. 程式人生 > >Spark各種模式的環境搭建及相關工作流程介紹

Spark各種模式的環境搭建及相關工作流程介紹

阿新 • • 發佈：2019-01-01

1前言

本篇部落格主要記錄的是Spark的3種執行模式及對應的模式環境搭建過程和流程介紹。3種模式都是經過實踐記錄詳細的操作過程和注意事項。
在進行環境的配置過程中，建議先理解每個模式下的工作流程，然後再進行環境搭建，這樣容易加深理解。由於Spark on YARN是搭建在HDFS分散式環境下的，所以此處可以參考一下Hadoop環境搭建及相關元件的工作流程介紹進行環境搭建，對應的軟體下載地址密碼: k9ir

2Spark一些核心概念

Application: 使用者編寫的Spark應用程式，同等於MapReduce需要處理的一個或多個任務job。由Driver程式和Executor程式組成。
Driver:

執行Application的main函式並建立SparkContext，SparkContext的目的是為了準備Spark應用程式的執行環境。SparkContext負責資源的申請、任務分配和監控等。
Exector:為某Application而在Worker Node上執行的一個程序，負責執行Task。每個Application都有各自獨立的一批Executor。 在Spark on Yarn模式下，Exector的程序名稱為CoarseGrainedExecuor Backend,一個CoarseGrainedExecuor Backend程序有且只有一個Exector物件，負責將Task包裝成taskRunner,並從執行緒池中抽取出一個空閒執行緒執行Task.
Cluster Manager
:叢集管理器,指的是叢集上獲取資源的外部服務，主要要3種類型。
a.Standalone:spark原生的資源管理，由Master負責資源的分配。
b.Apache Mesos
c.Hadoop Yarn:主要指的是Yarn中的ResourceManager和NodeManager的資源管理排程框架。
Worker：叢集中可以執行Application程式碼的節點，類似於Yarn中的NodeManager節點。
Task:Application的執行基本單位，Executor上的工作單元，類似於MapReduce中的MapTask和ReduceTask。多個Task組成一個Stage，而Task的排程和管理由TaskSchedule負責。
Job
:包含多個Task組成的平行計算由Spark Action原子操作觸發產生，一個Application可以包含多個Job。每個Job包含多個Stage。
State：每個Job會拆分為多組Task，作為一個TaskSet，稱為Stage。Stage的劃分和排程有DAGScheduler負責。有Shuffle Map Stage和Result Stage兩種。
RDD：Spark基本計算單元，是Spark最核心的東西。主要有Transformation和Action操作。它是能夠被並行操作的資料集合。其儲存級別可以是記憶體，磁碟，可通過spark.storage.StorageLevel設定。
DAGScheduler:根據job構建基於Staged的DAG，並提交Stage給TaskSchedule。其劃分Stage的依據是RDD之間的依賴關係。
TaskScheduler：將TaskSet提交給Worder叢集執行，每個Exector執行上面Task就在此分配。

3Spark各個模式執行配置及詳細介紹

圖1
圖說明：上圖為Spark的基本執行流程圖，不管是Spark什麼模式執行，基本執行流程圖如上所示，可能發生變化的就是各個元件的存放的節點位置和稱呼不一樣，但基本功能和執行流程不變。涉及到的核心概念如上。
a.各個模式涉及到的變化

local: 上圖所有元件的執行都是在本地機上，且用執行緒的形式來完成分散式的任務。
Standalone: 需要將Spark部署到相關節點，需要指定master機器和Worder機器。此時的資源分配由master節點完成。
Yarn-Cluster: Driver和Exector都執行在Yarn叢集，此時Spark執行流程圖中的稱呼master和執行任務的Worder不在使用，而是NodeManager，資源分佈排程的是ResourceManager，且YARN中的運用程式管理ApplicationMaster管理Spark中的Driver，其中Driver在該ApplicationMaster的節點中。
Yarn-client:只有Exector執行在Yarn叢集上。此時Spark執行流程圖中的稱呼master和執行任務的Worder不在使用，而是NodeManager，資源分佈排程的是ResourceManager。此時YARN中的執行程式管理ApplicationMaster管理Spark中的Driver。其中Driver在Client的機器上。

b.spark各個模式下的應用程式的提交
兩種方式：spark-shell和spark-submit
說明：總的來說，最後提交方式都是通過spark-submit的方式來提交，spark-shell執行的時候先進行了一些初始化的配置，然後再通過spark-submit的方式來進行提交應用程式。不過spark-shell是互動式的方式來進行應用的提交。接下來對各個模式下的部署和驗證的例項使用spark-submit的方式進行。
參考：各個模式下的提交具體引數說明檢視地址
c.總的來說，Spark執行模式取決於傳遞個SparkContext的deplyMode和master 引數的設定。

--master+ 引數：local、yarn-client、yarn-cluster
--deploy-mode+引數：cluster、client

spark-submit提交示例：

在$SPARK_HOME目錄下：
命令：./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]
命令引數說明：
application-jar:為應用程式的jar包
application-arguments:為應用程式中的呼叫引數
3.1Spark 本地模式介紹

說明：所有程式都執行在一個JVM中，啟動提交應用程式後，會產生一個SparkSubmit程序，既是客戶提交任務的Client程序、又是Spark的driver程式、還充當著Spark執行Task的Executor角色。
軟體準備： jdk-8u171-linux-x64.tar.gz,scala-2.11.8.tgz,spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz(這塊是自己編譯好的spark包)
情景說明： VM1(master)192.168.1.77上執行的和進行如下配置

步驟1：分別解壓到/home/zkpk/app/檔案下
步驟2：gedit /home/zkpk/.bash_profile
    #java
    export JAVA_HOME=/usr/java/jdk1.8.0_171
    export PATH=$JAVA_HOME/bin:$PATH

    #spark
    export SPARK_HOME=/home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0
    export PATH=$SPARK_HOME/bin:$PATH

    #scala
    export SCALA_PATH=/home/zkpk/app/scala-2.11.8
    export PATH=$SCALA_PATH/bin:$PATH

本地應用程式提交示例：終端的當前目錄是$SPARK_HOME

命令：./bin/spark-submit --class org.apache.spark.examples.JavaWordCount --master local /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/examples/jars/spark-examples_2.11-2.2.0.jar file:///home/zkpk/app/data/words.txt
結果：spark: 972
    hadoop: 1834
    li: 972
    welcome: 1836
    jian: 1944
或者命令：./bin/spark-shell --master local
接下來使用scala語言進行互動式的執行。
驗證檢視：http://localhost:4040
3.2Spark standalone模式介紹

說明：叢集模式為1 master + n worker。
前提：叢集的網路主機名，hosts都已經設定好了。
情景：3臺VM虛擬機器

VM1主機名master，ip:192.168.1.77，充當standalon叢集中的master,worker
VM2主機名slave1，ip:192.168.1.103，充當standalon叢集中的worker.
VM3主機名slave2，ip:192.168.1.102，充當standalon叢集中的worker.
各個VM的java版本是：jdk1.8.0_171
Scala版本是：scala-2.11.8
Spark版本是：spark-2.2.0-bin-2.6.0-cdh5.7.0

方法是：先配置好Master上的再複製到其他的主機上

1.配置$SPARK_HOME/conf/spark-env.sh(master)

命令：cp /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/conf/spark-env.sh.template /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/conf/spark-env.sh
命令：gedit /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/conf/spark-env.sh
    JAVA_HOME=/usr/java/jdk1.8.0_171
    SCALA_HOME=/home/zkpk/app/scala-2.11.8
    SPARK_MASTER_HOST=master #設定spark的master主機，重要
    SPARK_WORKER_CORES=2    #設定每個worker的核數
    SPARK_WORKER_MEMORY=2g
    SPARK_WORKER_INSTANCES=1 #每個節點的worker 程序數量

2.設定$SPARK_HOME/conf/spark-env.sh/slaves(master)
主要是設定sparkd的從節點主機名

命令：cp /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/conf/slaves.template /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/conf/slaves
命令：gedit /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/conf/slaves
    master
    slave1
    slave2

3.將Master的叢集配置複製到其他節點

命令：scp -r /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0 zkpk@slave1:/home/zkpk/app/
命令：scp -r /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0 zkpk@slave2:/home/zkpk/app/
命令：scp -r /home/zkpk/app/scala-2.11.8 zkpk@slave1:/home/zkpk/app/
命令：scp -r /home/zkpk/app/scala-2.11.8 zkpk@slave2:/home/zkpk/app/
複製配置檔案：
命令：scp /home/zkpk/.bash_profile zkpk@slave1:/home/zkpk/.bash_profile
命令：scp /home/zkpk/.bash_profile zkpk@slave2:/home/zkpk/.bash_profile
再到各個主機slave1和slave2的主機下的終端分別執行：
命令：source /home/zkpk/.bash_profile

4.啟動spark叢集

命令：/home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/sbin/start-all.sh
start-all.sh該指令碼的工作：會在master機器上啟動master程序，在$SPARK_HOME/conf/slaves檔案配置的所有hostname的機器上啟動worker程序。
瀏覽器檢視：master:8080
或者命令檢視：jps
或者啟動方式：
命令：/home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/sbin/start-master.sh
命令：/home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/sbin/start-slaves.sh

5.應用程式提交示例

命令：spark-submit --class org.apache.spark.examples.JavaWordCount --master spark://master:7077 /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/examples/jars/spark-examples_2.11-2.2.0.jar file:///home/zkpk/app/data/words.txt
結果：
spark: 972
hadoop: 1834
li: 972
welcome: 1836
jian: 1944
注意：這裡的file:///home/zkpk/app/data/words.txt檔案存放在master節點上，需要複復制存放到各個節點的相同目錄檔案下，不過由於master VM 本身也是worker所以如果只放在master上也是能執行出結果的。所以這時候需要使用到hadoop HDFS檔案系統，將更好。

6.standalone模式下的執行流程圖
圖2

3.3Spark YARN模式介紹

說明：此模式需要建立在Hadoop叢集上，檔案儲存於HDFS上，資源排程YARN，平行計算框架Spark.
此時Spark叢集並不在是master和n個worker的形式，資源排程上是1個ResourceManager和n個NodeManager,檔案系統是NameNode和DataNode的形式。Spark YARN模式有兩種形式Client和叢集模式。
前提：叢集的網路主機名，hosts都已經設定好了，Window有3個VM和Mac同處一個區域網下，VM採用橋接模式。
情景：3臺VM虛擬機器(Windows上)。

VM1主機名master，ip:192.168.1.77，HDFS中的NameNode和DataNode，YARN中的ResourceManager和NodeManager。
VM2主機名slave1，ip:192.168.1.103，HDFS中的DataNode，YARN中的NodeManager。
VM3主機名slave2，ip:192.168.1.102，HDFS中的DataNode，YARN中的NodeManager。
各個VMjava版本是：jdk1.8.0_171
Scala版本是：scala-2.11.8
Spark版本是：spark-2.2.0-bin-2.6.0-cdh5.7.0

1.設定spark-env.sh,各個節點下都需要設定好

命令：cp /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/conf/spark-env.sh.template /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/conf/spark-env.sh
命令：gedit /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/conf/spark-env.sh
      HADOOP_HOME=/home/zkpk/app/hadoop
      HADOOP_CONF_DIR=/home/zkpk/app/hadoop/etc/hadoop

2.HDFS上述要求的分散式環境搭建
參考上篇部落格Hadoop環境搭建及相關元件的工作流程介紹
,其中需要注意的是java環境已經換成1.8了，相應的地方需要更改$HADOOP_HOME/etc/hadoop/hadoop-env.sh中的java環境地址。
需要注意修改的地方是$HADOOP_HOME/etc/hadoop/yarn-site.xml(每個節點都需要修改)

命令：gedit $HADOOP_HOME/etc/hadoop/yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle,spark_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
        <value>org.apache.spark.network.yarn.YarnShuffleService</value>
    </property>
    <property>
        <name>spark.shuffle.service.port</name>
        <value>7338</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>
注意：為避免NodeManger啟動不了,各個節點需要拷貝${SPARK_HOME}/yarn/spark-2.2.0-yarn-shuffle.jar”到“${HADOOP_HOME}/share/hadoop/yarn/lib/”目錄下

3.啟動Spark on Yarn(master節點下)

1,首先啟動Hadoop分散式。
命令：$HADOOP_HOME/sbin/start-all.sh
此時檢視執行的程序命令：jps
有：NodeManager,NameNode,Jps,DataNode,ResourceManager
瀏覽器端檢視：http://master:50070 ->HDFS檔案
            http://master:8088 ->執行排程
2.關閉任務：$HADOOP_HOME/sbin/stop-all.sh

4.應用程式提交示例，Spark on Yarn執行模式有兩種執行情況。
a.spark on yarn-client模式
driver執行在提交作業的機器上(可以看到程式列印日誌)

命令：spark-submit --class org.apache.spark.examples.JavaWordCount --master yarn --deploy-mode client /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/examples/jars/spark-examples_2.11-2.2.0.jar hdfs://192.168.1.77:8020/words.txt

執行流程如下(摘自網上)：
圖4
b.spark on yarn-cluster模式
driver執行在叢集上某個機器上（看不到日誌，只可以看到running狀態）,Driver在AppMaster執行.

命令：spark-submit --class org.apache.spark.examples.JavaWordCount --master yarn --deploy-mode cluster /home/zkpk/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/examples/jars/spark-examples_2.11-2.2.0.jar hdfs://192.168.1.77:8020/words.txt

執行流程如下(摘自網上)：
圖5

4問題

描述： HDFS分散式啟動問題，有時候DataNode能啟動，NameNode不能啟動，有時候剛好相反。
解決：清空hadoop HDFS設定的tmp資料夾，清空logs資料夾。再格式化HDFS，最後啟動，問題能解決。
指令碼：

#我的Hadoop home目錄為/home/zkpk/app/hadoop
cd /home/zkpk/app
rm -r ./hadoop_tmp/
echo 'delete tmp ~'
rm -r ./hadoop/logs/
echo 'delete logs ~'
mkdir -p ./hadoop_tmp/dfs/data
mkdir -p ./hadoop_tmp/dfs/name
hdfs namenode -format
/home/zkpk/app/hadoop/sbin/start-dfs.sh

相關推薦

Spark各種模式的環境搭建及相關工作流程介紹

1前言 本篇部落格主要記錄的是Spark的3種執行模式及對應的模式環境搭建過程和流程介紹。3種模式都是經過實踐記錄詳細的操作過程和注意事項。 在進行環境的配置過程中，建議先理解每個模式下的工作流程，然後再進行環境搭建，這樣容易加深理解。由於Spark on

Spark編程環境搭建及WordCount實例

enter 默認 自己 apache block 編程 mar compile edi 基於Intellij IDEA搭建Spark開發環境搭建 　基於Intellij IDEA搭建Spark開發環境搭——參考文檔 　　● 參考文檔h

spark JAVA 開發環境搭建及遠程調試

soft 匯總 bubuko tab 2.7 cati builder hadoop2.7 本地 spark JAVA 開發環境搭建及遠程調試 以後要在項目中使用Spark 用戶昵稱文本做一下聚類分析，找出一些違規的昵稱信息。以前折騰過Hadoop，於是看了下Spark官網

spark JAVA 開發環境搭建及遠端除錯

spark JAVA 開發環境搭建及遠端除錯 以後要在專案中使用Spark 使用者暱稱文字做一下聚類分析，找出一些違規的暱稱資訊。以前折騰過Hadoop，於是看了下Spark官網的文件以及 github 上 官方提供的examples，看完了之後決定動手跑一個文字聚類的demo，於是有了下文。 1. 環境

計算利器Spark——Spark的Standalone環境搭建及使用

轉載請註明出處：http://blog.csdn.net/dongdong9223/article/details/84836391 本文出自【我是幹勾魚的部落格】 Ingredients： Java：Java SE Development Kit 8u1

Windows下Vue開發環境搭建及相關問題

1.首先安裝了 node.jshttp://nodejs.cn/download/ 2.安裝淘寶映象 https://npm.taobao.org/ 3.vue搭建 cnpm install --global vue-cli # 建立一個基於 webpack 模板的新專案

spark 環境搭建及幾種模式測試

spark 環境搭建及幾種模式測試 spark安裝部署spark安裝前的環境準備 需要安裝jdk、scala、hadoop作為前提環境。 1、安裝jdk1.7 先解除安裝自帶的jdk，防止自帶的jdk和安裝的出現衝突。而且自帶的版本較低不能滿足現在軟體對jdk的要求。 使用

Windows版本搭建安裝React Native環境配置及相關問題

for undle 地址 data dmi tools github spa start http://www.cnblogs.com/aichenxy/p/5971613.html 此文檔整理參考地址： http://www.lcode.org/%E5%8F%B2%E4%

Spark+ECLIPSE+JAVA+MAVEN windows開發環境搭建及入門例項【附詳細程式碼】

前言 本文旨在記錄初學Spark時，根據官網快速入門中的一段Java程式碼，在Maven上建立應用程式並實現執行。 首先推薦一個很好的入門文件庫，就是CSDN的Spark知識庫，裡面有很多spark的從入門到精通的形形色色的資料， 1.開發軟體恭喜你，拿到spark駕考

java開發各種環境搭建及外掛安裝

一：首先檢查JDK安裝（eclipse整合maven） 在安裝Maven之前，首先要確認你已經正確安裝了JDK（因為它是基於JDKd的）。Maven可以執行在JDK 1.4及以上的版本上執行如下的命令來檢查你的Java安裝： C:\Users\Juven Xu>ech

Linux下nagios的搭建及相關配置

linux下nagios的搭建及相關配置一、LAMP環境部署1、安裝php 1.安裝yum源 rpm -Uvh http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm rpm -Uvh http://rpm

NDK在windows下的開發環境搭建及開發過程

刷新 -1 ont static blog 簡單 包名 mfp targe 在Android應用的開發project中。無論是遊戲還是普通應用。都時常會用到.so即動態鏈接庫，關於.so是什麽玩意兒，有什麽優點。這個大家能夠在網上查一下，本人不做過多解釋。.

maven的環境搭建及使用

技術分享 信息 幫助 解壓 使用 project 打印 jdk版本 規範 maven的環境搭建及使用 一、maven介紹及作用 maven是一個項目構

Ubuntu下kafka集群環境搭建及測試

delet 指定 文件中 新增 img --delete replicat pro alt 1，解壓 root@Ubuntu-1:/usr/local# tar zxvf kafka_2.11-0.8.2.2.tgz 2，重命名 root@Ubuntu-1:/usr/

Cordova 開發環境搭建及創建第一個app

maven 環境變量配置 src 搜索 編譯 win 所有 log api 整理記錄使用cordova創建app應用程序並將其部署至Android系統移動設備上詳細過程，具體如下： 一、前期安裝環境 1. 安裝JDK（java開發工具包） 2. 安裝gradle 3. 安裝

Linux鞏固記錄（1） J2EE開發環境搭建及網絡配置

version 環境 com sco 由於 lin spa node 開發環境 由於要近期使用hadoop等進行相關任務執行，操作linux時候就多了 以前只在linux上配置J2EE項目執行環境，無非配置下jdk，部署tomcat，再通過docker或者jenkins自動

Android開發之旅1：環境搭建及HelloWorld

lan 及其 其它 ply 新項目 bsp 驗證 for 對話框 ——工欲善其事必先利其器 引言 本系列適合0基礎的人員，因為我就是從0開始的，此系列記錄我步入Android開發的一些經驗分享，望與君共勉！作為Android隊伍中的一個新人的

PHPUnit實踐001--環境搭建及簡單用法

基礎 入門 單元測試 phpunit windows環境下搭建PHPUnit可以直接下安裝包傻瓜安裝，博主項目使用的是php5.6 所以下載了3.7的phpunit用composer安裝phpunitcomposer require --dev phpunit/phpunit ^6.2phpu

vuejs開發環境搭建及熱更新

輸入 成功 可用 app 熱更新 bpa bsp 保存 vue.js 推薦使用官方提供的命令行工具，可用於快速搭建大型單頁應用。只需一分鐘即可啟動帶熱重載、保存時靜態檢查以及可用於生產環境的構建配置項目。 1、安裝node https://nodejs.org/en/do

雲計算之路-虛擬化環境搭建及虛擬機創建

home 應用虛擬化 鍵盤 參考 紅色 翻譯 靈活性 不能 ont 轉載自 靈躍雲 ：原文鏈接 1. 前言 在計算機技術中，虛擬化(Virtualization)是一種資源管理技術，它將計算機相關的各種資源（CPU、內存、磁盤、網絡適配器等）進行抽象、轉換