1. 程式人生 > >Spark處理框架搭建【VM15 + CentOS7 + Hadoop2.7.5 + Scala2.12.7 + Spark2.3.1】

Spark處理框架搭建【VM15 + CentOS7 + Hadoop2.7.5 + Scala2.12.7 + Spark2.3.1】

一、目的

二、準備工作

三、安裝過程

1 解除安裝Linux自帶的jdk

檢視系統自帶的jdk

[[email protected] ~]# java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)

查詢系統自帶的java檔案,根據不同的系統版本,輸入rpm -qa | grep jdk或者rpm -qa | grep java

[[email protected]
~]# rpm -qa | grep jdk java-1.7.0-openjdk-headless-1.7.0.171-2.6.13.2.el7.x86_64 java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64 java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_64 java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64 copy-jdk-configs-3.3-2.el7.noarch

刪除noarch檔案以外的其他檔案,輸入rpm -e --nodeps 需要解除安裝的安裝檔名

[[email protected] ~]# rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.171-2.6.13.2.el7.x86_64
[[email protected] ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64
[[email protected] ~]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_64
[[email protected]
~]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64

檢視是否已經刪除完畢

[[email protected] ~]# java -version
bash: /usr/bin/java: 沒有那個檔案或目錄

2 下載並安裝最新版本的jdk

jdk下載可分成兩種情況: A.在虛擬機器中藉助自帶的火狐瀏覽器,將jdk檔案下載到虛擬機器中。 在這裡插入圖片描述 預設下載到Linux系統的下載檔案中。 在這裡插入圖片描述 B.將jdk直接下載到本地windows系統,然後通過SecureCRT等工具匯入虛擬機器中,本次試驗採用該法。

[[email protected],master ~]# rz
rz waiting to receive.
Starting zmodem transfer.  Press Ctrl+C to cancel.
Transferring jdk-8u181-linux-x64.tar.gz...
  100%  181295 KB    36259 KB/sec    00:00:05       0 Errors

在這裡插入圖片描述 由於本機直接root使用者登入,通過rz命令後jdk載入到/root/Home路徑。 在這裡插入圖片描述 將idk安裝包轉移到系統檔案中,可以通過madir命令,也可以直接定位到安裝檔案然後手動轉移並修改jdk路徑,本次試驗首先在opt檔案下新建一個java檔案,然後將jdk放入/opt/java路徑下。 在這裡插入圖片描述 通過tar -zxvf jdk-8u181-linux-x64.tar.gz命令解壓安裝包。

[[email protected] ~]# cd /opt/java
[[email protected] java]# tar -zxvf jdk-8u181-linux-x64.tar.gz

3 環境變數設定

通過vi /etc/profile或者vim /etc/profile進入profile檔案的編輯狀態(vim相關編輯命令請自行百度),也可直接在Linux系統下直接進入/etc/profile路徑進行操作。最後,將以下內容複製到profile檔案的最後。

#java environment
export JAVA_HOME=/opt/java/jdk1.8.0_181
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin

在這裡插入圖片描述 輸入source /etc/profile使得剛才的修改生效,同時java -version再次檢視java是否已經完成安裝。

[[email protected] ~]# source /etc/profile
[[email protected] ~]# java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)