在YARN上執行Spark

對 YARN (Hadoop NextGen) 的支援是從Spark-0.6.0開始的，後續的版本也一直持續在改進。

在YARN上啟動

首先確保 HADOOP_CONF_DIR 或者 YARN_CONF_DIR 變數指向一個包含Hadoop叢集客戶端配置檔案的目錄。這些配置用於讀寫HDFS和連線YARN資源管理器（ResourceManager）。這些配置應該釋出到YARN叢集上所有的節點，這樣所有的YARN容器才能使用同樣的配置。如果這些配置引用了Java系統屬性或者其他不屬於YARN管理的環境變數，那麼這些屬性和變數也應該在Spark應用的配置中設定（包括驅動器、執行器，以及其AM【運行於client模式時的YARN Application Master】）

在YARN上啟動Spark應用有兩種模式。在cluster模式下，Spark驅動器（driver）在YARN Application Master中執行（運行於叢集中），因此客戶端可以在Spark應用啟動之後關閉退出。而client模式下，Spark驅動器在客戶端程序中，這時的YARN Application Master只用於向YARN申請資源。

與獨立部署（ Spark standalone ）或 在Mesos 叢集中不同，YARN的master地址不是在–master引數中指定的，而是在Hadoop配置檔案中設定。因此，這種情況下，–master只需設定為yarn。

以下用cluster模式啟動一個Spark應用：

$ ./bin/spark-submit --class path.to.your.Class \
--master yarn \
--deploy-mode cluster \
[options] \
<app jar> [app options]

例如：

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    --queue thequeue \
    lib/spark-examples*.jar 10
 

以上例子中，啟動了一個YARN客戶端程式，使用預設的Application Master。而後SparkPi在Application Master中的子執行緒中執行。客戶端會週期性的把Application Master的狀態資訊拉取下來，並更新到控制檯。客戶端會在你的應用程式結束後退出。參考“除錯你的應用”，這一節說明了如何檢視驅動器和執行器的日誌。

要以client模式啟動一個spark應用，只需在上面的例子中把cluster換成client。下面這個例子就是以client模式啟動spark-shell：

$ ./bin/spark-shell --master yarn --deploy-mode client

增加其他JAR包

在cluster模式下，驅動器不在客戶端機器上執行，所以SparkContext.addJar新增客戶端本地檔案就不好使了。要使客戶端上本地檔案能夠用SparkContext.addJar來新增，可以用–jars選項：

$ ./bin/spark-submit --class my.main.Class \
    --master yarn \
    --deploy-mode cluster \
    --jars my-other-jar.jar,my-other-other-jar.jar
    my-main-jar.jar
    app_arg1 app_arg2

準備

在YARN上執行Spark需要其二進位制釋出包構建的時候增加YARN支援。二進位制釋出包可以在這裡下載：downloads page 。

配置

大多數配置，對於YARN或其他叢集模式下，都是一樣的。詳細請參考這裡： configuration page。

以下是YARN上專有的配置項。

除錯你的應用

在YARN術語集中，執行器和Application Master在容器（container）中執行。YARN在一個應用程式結束後，有兩種處理容器日誌的模式。如果開啟了日誌聚合（yarn.log-aggregation-enable），那麼容器日誌將被複制到HDFS，並刪除本地日誌。而後這些日誌可以在叢集任何節點上用yarn logs命令檢視：

yarn logs -applicationId <app ID>

以上命令，將會打印出指定應用的所有日誌檔案的內容。你也可以直接在HDFS上檢視這些日誌（HDFS shell或者HDFS API）。這些目錄可以在你的YARN配置中指定（yarn.nodemanager.remote-app-log-dir和yarn.nodemanager-remote-app-log-dir-suffix）。這些日誌同樣還可以在Spark Web UI上Executors tab頁檢視。當然，你需要啟動Spark history server和 MapReduce history server，再在 yarn-site.xml 中配置好 yarn.log.server.url。Spark history server UI 將把你重定向到MapReduce history server 以檢視這些聚合日誌。

如果日誌聚合沒有開啟，那麼日誌檔案將在每臺機器上的 YARN_APP_LOGS_DIR 目錄保留，通常這個目錄指向 /tmp/logs 或者 $HADOOP_HOME/log/userlogs（這取決於Hadoop版本和安全方式）。檢視日誌的話，需要到每臺機器上檢視這些目錄。子目錄是按 application ID 和 container ID來組織的。這些日誌同樣可以在 Spark Web UI 上 Executors tab 頁檢視，而且這時你不需要執行MapReduce history server。

如果需要檢查各個容器的啟動環境，可以先把 yarn.nodemanager.delete.debug-delay-sec 增大（如：36000），然後訪問應用快取目錄yarn.nodemanager.local-dirs，這時容器的啟動目錄。這裡包含了啟動指令碼、jar包以及容器啟動所用的所有環境變數。這對除錯 classpath 相關問題尤其有用。（注意，啟用這個需要管理員許可權，並重啟所有的node managers，因此，對託管叢集不適用）

要自定義Application Master或執行器的 log4j 配置，有如下方法：

• 通過spark-submit –files 上傳一個自定義的 log4j.properties 檔案。
• 在 spark.driver.extraJavaOptions（對Spark驅動器）或者 spark.executor.extraJavaOptions（對Spark執行器）增加 -Dlog4j.configuration=<location of configuration file>。注意，如果使用檔案，那麼 file: 協議頭必須顯式寫上，且檔案必須在所節點上都存在。
• 更新 ${SPARK_CONF_DIR}/log4j.properties 檔案以及其他配置。注意，如果在多個地方都配置了log4j，那麼上面其他兩種方法的配置優先順序比本方法要高。

注意，第一種方法中，執行器和Application Master共享同一個log4j配置，在有些環境下（AM和執行器在同一個節點上執行）可能會有問題（例如，AM和執行器日誌都寫入到同一個日誌檔案）

如果你需要引用YARN放置日誌檔案的路徑，以便YARN可以正確地展示和聚合日誌，請在log4j.properties檔案中使用spark.yarn.app.container.log.dir。例如，log4j.appender.file_appender.File=${spark.yarn.app.container.log.dir}/spark.log 。對於流式應用，可以配置RollingFileAppender，並將檔案路徑設定為YARN日誌目錄，以避免磁碟打滿，而且這些日誌還可以利用YARN的日誌工具訪問和檢視。

Spark屬性

重要提示

• 對CPU資源的請求是否滿足，取決於排程器如何配置和使用。
• cluster模式下，Spark執行器（executor）和驅動器（driver）的local目錄都由YARN配置決定（yarn.nodemanager.local-dirs）；如果使用者指定了spark.local.dir，這時候將被忽略。在client模式下，Spark執行器（executor）的local目錄由YARN決定，而驅動器（driver）的local目錄由spark.local.dir決定，因為這時候，驅動器不在YARN上執行。
• 選項引數 –files和 –archives中井號（#）用法類似於Hadoop。例如，你可以指定 –files localtest.txt#appSees.txt，這將會把localtest.txt檔案上傳到HDFS上，並重命名為 appSees.txt，而你的程式應用用 appSees.txt來引用這個檔案。
• 當你在cluster模式下使用本地檔案時，使用選項–jar 才能讓SparkContext.addJar正常工作，而不必使用 HDFS，HTTP，HTTPS或者FTP上的檔案。