前言

花了近兩週的時間學習了scala的語法，然後就迫不及待的想要玩一下spark的開發了。這裡先介紹一下spark在windows環境下的安裝步驟和方法。

因為spark大資料的計算肯定是基於分散式叢集的方式才能發揮其巨大的作用，所以，在windows環境下學習大資料，只是紙上談兵的方式。因為環境的限制，所以只能在現有的電腦上進行大資料的學習，先了解spark的API吧!先把原理搞清楚再深入實踐!

後續的spark學習之路中，要使用scala和Java兩種方式來進行本地測試和實踐，通過scala的實踐之路可以更加有效的瞭解spark的原始碼原理；再加上本身對java比較瞭解，同時，spark也是支援java開發的，所以學習java的一套API也是很有必要的!(本質上scala和java沒有什麼區別，只是語法表達上不一樣罷了)

jdk和scala環境的安裝

• 下載JDK1.8以上

2.環境配置

JAVA_HOME=G:\Java\jdk1.8.0_151
path = G:\Java\jdk1.8.0_151\bin
CLASS_PATH=.;

3.驗證

分別使用java/javac來驗證環境變數是否配置成功

• 下載scala2.10.4

SCALA_HOME = C:\Program Files (x86)\scala
path = C:\Program Files (x86)\scala\bin

3.驗證

輸入scala -version 檢視版本號
輸入scala 進入scala的環境

這裡主要注意一下java和scala安裝的路徑儘量不要有空格，我的java安裝路徑有空格導致後續的spark無法讀取到java的安裝路徑!

spark下載、安裝和配置

1. 安裝

   解壓即安裝

2. 環境變數配置:

   直接配置path就可以了

   path = G:\bigData\spark-2.2.0-bin-hadoop2.6\bin

hadoop的下載、安裝和配置

1.下載

2.安裝

解壓即安裝

3.配置

分別配置HADOOP_HOME和Path

Path = G:\bigData\hadoop-2.6.4\bin
HADOOP_HOME=G:\bigData
 
\hadoop-2.6.4

下載winutils.exe

1.下載

2.使用

將其拷貝到~/hadoop/bin的目錄下

執行驗證Spark

1. 保證以上步驟都正確操作完成

2. 命令列輸入spark-shell命令

3. 出現圖片所示內容提示即為成功!