Spark 配置

1、master 機器

Spark 配置

進入 Spark 安裝目錄下的 conf 目錄， 拷貝 spark-env.sh.template 到 spark-env.sh。

	cp spark-env.sh.template spark-env.sh

export SCALA_HOME=/opt/scala-2.11.8
export JAVA_HOME=/opt/java/jdk1.7.0_80
export SPARK_MASTER_IP=192.168.109.137
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/opt/hadoop-2.6.4/etc/hadoop
 

JAVA_HOME 指定 Java 安裝目錄； 
SCALA_HOME 指定 Scala 安裝目錄； 
SPARK_MASTER_IP 指定 Spark 叢集 Master 節點的 IP 地址； 
SPARK_WORKER_MEMORY 指定的是 Worker 節點能夠分配給 Executors 的最大記憶體大小； 
HADOOP_CONF_DIR 指定 Hadoop 叢集配置檔案目錄。 

將 slaves.template 拷貝到 slaves， 編輯其內容為：

即 master 既是 Master 節點又是 Worker 節點。

2、slave機器

slave01 和 slave02 參照 master 機器安裝步驟進行安裝。

啟動 Spark 叢集

1、啟動 Hadoop 叢集

2、啟動 Spark 叢集

(1) 啟動  Master 節點

執行 start-master.sh，結果如下：

可以看到 master 上多了一個新程序 Master。

(2) 啟動所有 Worker 節點

執行 start-slaves.sh， 執行結果如下：

在 master、slave01 和 slave02 上使用 jps 命令，可以發現都啟動了一個 Worker 程序

(3) 瀏覽器檢視 Spark 叢集資訊。

3、停止 Spark 叢集

1、停止 Master 節點

執行 stop-master.sh 來停止 Master 節點。

使用 jps 命令檢視當前 java 程序

可以發現 Master 程序已經停止。

2、停止 Worker 節點

執行 stop-slaves.sh 可以停止所有的 Worker 節點

使用 jps 命令檢視 master、slave01、slave02 上的程序資訊：

可以看到， Worker 程序均已停止，最後再停止 Hadoop 叢集。

import logging
import time
from operator import add

from pyspark import SparkContext,SparkConf
conf=SparkConf()
conf.setMaster("spark://ckx:7077")
conf.setAppName("test application7")



test_file_name = "hdfs://ckx:9000/user/hadoop/test/kk.txt"
out_file_name = "hdfs://ckx:9000/user/hadoop/spark-out9"
starttime=time.time()
# Word Count  
sc=SparkContext(conf=conf)
# text_file rdd object  
text_file = sc.textFile(test_file_name)
# counts  
counts = text_file.flatMap(lambda line: line.split(" ")).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile(out_file_name)
endtime=time.time()
print(endtime-starttime)