Spark2.2.0叢集搭建部署之【基礎配置篇】
阿新 • • 發佈:2018-11-23
軟體準備資訊,詳見Spark2.2.0叢集搭建部署之【軟體準備篇】
Spark叢集在生產環境中,主要部署在linux的叢集中,所以需要先安裝JDK,SCALA等基礎配置。
由於Spark是計算框架,所以需要預先在叢集內有搭建好儲存資料的持久化層,如HDFS,最後可以通過啟動指令碼執行應用。
在VMware Workstation 虛擬機器中新建兩臺機器,分別起名master,slave1。在兩臺機器中分別安裝JDK,SCALA。
一、安裝JDK
JDK的安裝可以下載安裝包進行安裝,這裡我以系統自帶的openjdk安裝為例。
yum -y list java*
檢視JDK軟體包列表
yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
安裝java-1.8.0-openjdk
等待執行結束,可通過java -version檢視JDK版本資訊
值得一提的是,通過yum安裝的jdk,預設的安裝目錄為 /usr/lib/jvm, 可cd到該目錄下,檢視JDK的版本詳細資訊,其中
java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64即為安裝的JDK。
然後配置環境變數資訊
vi /etc/profile
在檔案的末尾加上
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME CLASSPATH PATH
儲存檔案後,重新整理使配置生效
source /etc/profile
二、安裝SCALA
將下載的scala-2.11.11.tar.gz,放置在叢集制定目錄下,這裡我放置在 /root/xdb 目錄下
解壓檔案
tar -zxvf scala-2.11.11.tar.gz
配置環境變數,命令同上,在檔案末尾新增SCALA的配置資訊
export SCALA_HOME=/root/xdb/scala-2.11.11/
export PATH=$PATH:$SCALA_HOME/bin
重新整理配置,通過scala -version檢視是否生效。