1. 程式人生 > >Ubuntu下搭建spark2.4環境(單機版)

Ubuntu下搭建spark2.4環境(單機版)

說明:單機版的Spark的機器上只需要安裝JDK即可,其他諸如Hadoop、Zookeeper(甚至是scala)之類的東西可以一概不安裝。
叢集版搭建:Spark2.2叢集部署和配置

一、安裝JDK1.8

1、下載JDK1.8,地址

2、將下載的檔案儲存在 /home/qq/java下,進行解壓,解壓後文件夾為 jdk1.8.0_171:

tar -zxvf jdk-8u171-linux-i586.tar.gz

3、配置JDK環境,輸入命令:

sudo vim ~/.bashrc

在檔案末尾加入:

export JAVA_HOME=/home/qq/java/jdk1.8.0_171
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

使用命令:wq儲存退出,執行命令生效:

source ~/.bashrc

4、測試JDK

輸入命令:

java -version

輸出:

java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) Client VM (build 25.171-b11, mixed mode)

JDK安裝成功。

二、安裝spark2.2.0

1、使用命令
wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz

下載檔案,並將其放在 /home/qq/spark 資料夾下。
或者先下載再傳入ubuntu

2、解壓,改名(之前名字太長,改成spark-2.2.0)

tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz
mv spark-2.4.0-bin-hadoop2.7 spark-2.4.0
3、配置環境,開啟檔案sudo vi /etc/profile,在末尾加入:

export SPARK_HOME=/home/qq/spark/spark-2.4.0
export PATH=$PATH:$SPARK_HOME/bin

輸入:

source /etc/profile

使環境變數生效。

4、配置spark環境

開啟資料夾spark-2.4.0,首先我們把快取的檔案spark-env.sh.template改為spark識別的檔案spark-env.sh

cp conf/spark-env.sh.template conf /spark-env.sh

開啟修改spark-env.sh檔案,

vi conf/spark-env.sh

在末尾加入:

export JAVA_HOME=/home/qq/java/jdk1.8.0_171
export SPARK_MASTER_IP=SparkMaster
export SPARK_WORKER_MEMORY=2g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1

變數說明

JAVA_HOME:Java安裝目錄
SPARK_MASTER_IP:spark叢集的Master節點的ip地址
SPARK_WORKER_MEMORY:每個worker節點能夠最大分配給exectors的記憶體大小
SPARK_WORKER_CORES:每個worker節點所佔有的CPU核數目
SPARK_WORKER_INSTANCES:每臺機器上開啟的worker節點的數目

其次,修改slaves檔案,
cp slaves.template slaves
vi conf/slaves
加入:
localhost
5、執行spark
spark-shell

如圖:
在這裡插入圖片描述
至此,安裝全部完成。

測試

跑PI

$ run-example SparkPi 10

結果如圖:
run-example SparkPi 10