以yarn client和分散式叢集方式執行spark-2.3.2-bin-hadoop2.6
阿新 • • 發佈：2018-11-10
一以分散式叢集執行
- 修改配置檔案/hadoop_opt/spark-2.3.2-bin-hadoop2.6/conf/spark-env.sh
export HADOOP_CONF_DIR=/hadoop_opt/hadoop-2.6.1/etc/hadoop export JAVA_HOME=/hadoop_opt/jdk1.8.0_181 export HADOOP_HOME=/hadoop_opt/hadoop-2.6.1 export SCALA_HOME=/hadoop_opt/scala-2.12.7 export SPARK_MASTER_IP=192.168.197.128
修改/hadoop_opt/spark-2.3.2-bin-hadoop2.6/conf/slaves，在最後加入如下程式碼
master
slave1
slave2
2.slave執行和master相同的操作,登陸master執行向slave分發操作
scp -r /hadoop_opt/spark [email protected] /hadoop_opt
scp -r /hadoop_opt/spark [email protected] /hadoop_opt
3.在master終端輸入
進入spark安裝目錄的sbin資料夾下，先啟動master,再啟動slaves
[[email protected] sbin]# ./start-master.sh
[[email protected] sbin]# ./start-slaves.sh
使用jps分別檢視master和slave的程序
[[email protected] sbin]# jps
4786 Master
4850 Jps
3527 ResourceManager
3181 NameNode
3374 SecondaryNameNode
[[email protected] hadoop01]# jps 1904 NodeManager 2421 Worker 3470 Jps
4.在瀏覽器中輸入http://master:8080
二以yarn client執行
1.master 終端輸入
spark-shell --master yarn-client即可，最後出現如下截圖
注：輸入命令spark-shell --master yarn --deploy-mode client也可
sprk的配置是按照分散式叢集方式配置的，但是在這種方式配置下這兩種方式都可以執行。
網上的配置方法有點把我繞暈了，有的沒有安裝hadoop就配置spark叢集了，有的卻需要安裝hadoop。真是被搞暈了。
