1. 程式人生 > >Spark2.2.0叢集搭建部署之【基礎配置篇】

Spark2.2.0叢集搭建部署之【基礎配置篇】

軟體準備資訊,詳見Spark2.2.0叢集搭建部署之【軟體準備篇】

Spark叢集在生產環境中,主要部署在linux的叢集中,所以需要先安裝JDK,SCALA等基礎配置。

由於Spark是計算框架,所以需要預先在叢集內有搭建好儲存資料的持久化層,如HDFS,最後可以通過啟動指令碼執行應用。

在VMware Workstation 虛擬機器中新建兩臺機器,分別起名master,slave1。在兩臺機器中分別安裝JDK,SCALA。

一、安裝JDK

JDK的安裝可以下載安裝包進行安裝,這裡我以系統自帶的openjdk安裝為例。

yum -y list java*  

 

檢視JDK軟體包列表

yum  install  java-1.8.0-openjdk   java-1.8.0-openjdk-devel 

安裝java-1.8.0-openjdk

等待執行結束,可通過java -version檢視JDK版本資訊

值得一提的是,通過yum安裝的jdk,預設的安裝目錄為 /usr/lib/jvm, 可cd到該目錄下,檢視JDK的版本詳細資訊,其中

java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64即為安裝的JDK。

 

然後配置環境變數資訊

vi /etc/profile  

在檔案的末尾加上

JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
PATH=$PATH:$JAVA_HOME/bin  
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
export JAVA_HOME  CLASSPATH  PATH  

儲存檔案後,重新整理使配置生效

source  /etc/profile  

二、安裝SCALA

將下載的scala-2.11.11.tar.gz,放置在叢集制定目錄下,這裡我放置在 /root/xdb 目錄下

解壓檔案

tar -zxvf scala-2.11.11.tar.gz

配置環境變數,命令同上,在檔案末尾新增SCALA的配置資訊

export SCALA_HOME=/root/xdb/scala-2.11.11/
export PATH=$PATH:$SCALA_HOME/bin

重新整理配置,通過scala -version檢視是否生效。