一、搭建環境的前提條件

　　環境：ubuntu-16.04

　　　　　hadoop-2.6.0

　　　　 jdk1.8.0_161。

　　　　　spark-2.4.0-bin-hadoop2.6。這裏的環境不一定需要和我一樣，基本版本差不多都ok的，但註意這裏spark要和hadoop版本相對應。所需安裝包和壓縮包自行下載即可。

　　因為這裏是配置spark的教程，首先必須要配置Hadoop，配置Hadoop的教程在Hadoop2.0偽分布式平臺環境搭建。配置Java以及安裝VMware Tools就自行百度解決哈，這裏就不寫了（因為教程有點長，可能有些地方有些錯誤，歡迎留言評論，我會在第一時間修改的）。

二、搭建的詳細步驟

　　1、首先確保Hadoop偽分布式環境正在運行

　　2、首先對spark安裝包解壓縮

tar -zxvf spark-2.4.0-bin-hadoop2.6

　　3、進入spark/conf修改配置文件

cd spark-2.4.0-bin-hadoop2.6/
cd conf/
cp spark-env.sh.template spark-env.sh

　　　　然後在spark-env.sh文件最後添加內容　　

vim spark-env.sh　

　　4、配置環境變量

vim ~/.bashrc

　　　　在文件最後加入spark的路徑

　　　　保存使其立即生效。

source ~/.bashrc

　　5、啟動spark

cd ..
sbin/start-all.sh

　　　jps查看進程

　　　　出現上面這些節點說明搭建成功。

　　6、webUI查看

http://localhost:8080/

　　7、若搭建成功的命令行界面，註意路徑

　　　　退出命令為 :quit 。

Spark2.4.0偽分布式環境搭建