1.java/scala的安裝 - 安裝JDK
下載：
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
jdk-8u151-windows-x64
雙擊傻瓜式一步一步安裝，需要等一點時間，最終安裝在C:\Program Files\Java目錄下
JRE： Java Runtime Environment
JDK：Java Development Kit
配置環境變量(右擊我的電腦- 屬性- 高級系統設置 - 環境變量 )：
新增JAVA_HOME=C:\Program Files\Java\jdk1.8.0_151
在系統變量Path中追加 %JAVA_HOME%/bin;
打開cmd驗證java -version是否安裝成功

2java/scala的安裝 - 安裝scala
下載： http://www.scala-lang.org/download/2.11.8.html
scala-2.11.8.zip
將下載下來的zip包放置C:\Program Files\scala，然後解壓
配置環境變量(右擊我的電腦- 屬性- 高級系統設置 - 環境變量 )：
新增SCALA_HOME=C:\Program Files\scala\scala-2.11.8
在系統變量Path中追加 %SCALA_HOME%/bin;
打開cmd驗證scala是否安裝成功

3.安裝hadoop
下載
http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz
hadoop-2.6.5.tar.gz
將包hadoop-2.6.5.tar.gz放置在D:\spark下，並且解壓
配置環境變量(右擊我的電腦- 屬性- 高級系統設置 - 環境變量 )：
新增HADOOP_HOME=D:\spark\hadoop-2.6.5\hadoop-2.6.5
將hadoop的插件包放入到HADOOP_HOME/bin下(mac和linux系統不需要做這一步)
4.安裝maven

下載：http://maven.apache.org/download.cgi
apache-maven-3.5.0-bin.tar.gz
將下載下來的包放置在D:\spark中，並且解壓
配置conf/settings.xml的倉儲
配置環境變量(右擊我的電腦- 屬性- 高級系統設置 - 環境變量 ):
M2_HOME=D:\spark\apache-maven-3.5.0
且將%M2_HOME%/bin追加到系統變量Path中
打開cmd運行mvn -version，看看是否安裝成功

5.eclipse - scala/java語言開發

下載： http://www.eclipse.org/
eclipse-inst-win64
雙擊安裝eclipse-inst-win64，選擇“Eclipse IDE for Java Developers”
選擇初始化目錄為：D:\eclipse-java，然後點擊INSTALL, 開始安裝，需要一點點時間
安裝完，則點擊桌面快捷方式，選擇workspace為：D:\workspace\eclipse，點擊launch
集成maven
6.eclipse集成scala
help -> Eclipse Marketplace 搜索scala，然後install Scala IDE
保證eclipse集成了maven。默認是支持的
設置Group Id: net.alchim31.maven Artifact Id: scala-archetype-simple Version:1.6
第一種方式：maven配置添加 ：http://repo1.maven.apache.org/maven2/archetype-catalog.xml

可以將這個archetype-catalog.xml下載到本地，然後在設置local archetypem模式
第二種方式：安裝m2-scala
help -> Install New Software -> http://alchim31.free.fr/m2e-scala/update-site/

新建maven項目 - spark-wordcount-eclipse
設置開發spark應用需要的相關依賴
開發spark應用
本地調試spark應用

7.IntelliJ IDEA - java/scala語言開發

下載： https://www.jetbrains.com/idea/download/#section=windows
ideaIC-2017.2.5

雙擊ideaIC-2017.2.5，然後一步一步安裝，需要一點時間,
最終安裝在C:\Program Files\JetBrains\IntelliJ IDEA Community Edition 2017.2.5
idea集成scala， 在plugins中搜索scala，並且install， 安裝完這個插件就重啟IDEA
idea集成maven
新建maven項目 - spark-wordcount-idea
設置開發spark應用需要的相關依賴
開發spark應用
本地調試spark應用

8.本地安裝spark 2.x

下載 http://spark.apache.org/downloads.html
spark-2.2.0-bin-hadoop2.6.tgz
將包spark-2.2.0-bin-hadoop2.6.tgz放置在D:\spark下，並且解壓
配置環境變量：
新增SPARK_HOME=D:\spark\spark-2.2.0-bin-hadoop2.6
在系統變量Path中追加 %SPARK_HOME%/bin;

9.本地啟動spark-shell
在cmd中執行 ：
D:\spark\hadoop-2.6.5\bin\winutils.exe chmod 777 D:\tmp\hive
cmd進入到D:\spark目錄下，然後執行spark-shell

10.安裝python

下載： https://www.python.org/downloads/release/python-2710/
python-2.7.10.amd64
雙擊python-2.7.10.amd64，然後一步一步安裝，需要一點時間，
python將默認安裝到C:\Python27目錄下
配置環境變量：將python的安裝路徑追加到Path中
打開cmd,輸入python，看看python是否安裝成功

Spark 在 Window 環境下的搭建