1.官網

2.下載地址

3.所需環境

1. jdk1.8+ 參考地址
2. maven3.3.9 參考地址，下載maven後進行環境變數的設定，設定maven的記憶體使用,在環境變數中加入如下命令export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
3. scala2.11.8 參考地址
4. git：直接輸入命令：sudo yum install git下載git

4.原始碼編譯

為什麼選擇原始碼編譯呢，如果直接選擇官網下載好的會少一些jar包，重要的時很多元件的版本可能並不是我們想要的
- 官網參考地址

4.1方式一：

mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.7.0 -DskipTests clean package
命令解釋：
-Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.7.0:指定Hadoop版本和啟用執行緒
-Phive -Phive-thriftserver:JDBC支援的構建

第一次編譯的話可能會報錯，報錯內容如下：

[ERROR] Failed to execute goal on project spark-launcher_2.11
 
: 
Could not resolve dependencies for project org.apache.spark:spark-launcher_2.11:jar:2.2.0: 
Could not find artifact org.apache.hadoop:hadoop-client:jar:2.6.0-cdh5.7.0 in central (https://repo1.maven.org/maven2) -> [Help 1]

這個錯誤很明顯，https://repo1.maven.org/maven2 該連線是預設的中央倉庫地址，使用maven下載jar包但是預設的連線著並沒有找到，所以我們要修改pom.xml的設定，在pom.xml新增如下內容：

<repositories>
<repository>
  <id>cloudera</id>
  <name>cloudera Repository</name>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
</repositories>

• 再次輸入編譯命令，即可。

4.2方式二：

建議使用該方式，會把原始碼編譯成tar.gz包

./dev/make-distribution.sh \
--name 2.6.0-cdh5.7.0 \
--tgz \
-Dhadoop.version=2.6.0-cdh5.7.0 \
-Phadoop-2.6 \
-Phive -Phive-thriftserver \
-Pyarn

這裡可能又會遇到一個情況，編譯很慢，所以我們要進行如下修改：

• make-distribution.sh（修改dev目錄下的make-distribution.sh檔案）

dev/make-distribution.sh
註釋這一段：
#VERSION=$("$MVN" help:evaluate -Dexpression=project.version [email protected] 2>/dev/null | grep -v "INFO" | tail -n 1)
#SCALA_VERSION=$("$MVN" help:evaluate -Dexpression=scala.binary.version [email protected] 2>/dev/null\
#    | grep -v "INFO"\
#    | tail -n 1)
#SPARK_HADOOP_VERSION=$("$MVN" help:evaluate -Dexpression=hadoop.version [email protected] 2>/dev/null\
#    | grep -v "INFO"\
#    | tail -n 1)
#SPARK_HIVE=$("$MVN" help:evaluate -Dexpression=project.activeProfiles -pl sql/hive [email protected] 2>/dev/null\
#    | grep -v "INFO"\
#    | fgrep --count "<id>hive</id>";\
#    # Reset exit status to 0, otherwise the script stops here if the last grep finds nothing\
#    # because we use "set -o pipefail"
#    echo -n)
加入下面的內容：
VERSION=2.2.0
SCALA_VERSION=2.11
SPARK_HADOOP_VERSION=2.6.0-cdh5.7.0
SPARK_HIVE=1

• 編譯：

Building with...
+ echo -e '$ /opt/sourcecode/spark-2.2.0/build/mvn' -T 1C clean package -DskipTests --tgz-Dhadoop.version=2.6.0-cdh5.7.0 -Phadoop-2.6 -Phive -Phive-thriftserver '-Pyarn\n'
$ /opt/sourcecode/spark-2.2.0/build/mvn -T 1C clean package -DskipTests --tgz-Dhadoop.version=2.6.0-cdh5.7.0 -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn

+ /opt/sourcecode/spark-2.2.0/build/mvn -T 1C clean package -DskipTests --tgz-Dhadoop.version=2.6.0-cdh5.7.0 -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn
exec: curl --progress-bar -L https://downloads.typesafe.com/zinc/0.3.11/zinc-0.3.11.tgz

• spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz的生成

[hadoop@zhangyu spark-2.2.0]$ ll
在該目錄下會生成：
-rw-rw-r--.  1 hadoop hadoop 198982482 Jan 22 18:50 spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz

該目錄的由來：我們可以檢視make-distribution.sh檔案中可以檢視如下的指令碼命令

生成的目標檔案由來：
if [ "$MAKE_TGZ" == "true" ]; then
  TARDIR_NAME=spark-$VERSION-bin-$NAME
  TARDIR="$SPARK_HOME/$TARDIR_NAME"
  rm -rf "$TARDIR"
  cp -r "$DISTDIR" "$TARDIR"
  tar czf "spark-$VERSION-bin-$NAME.tgz" -C "$SPARK_HOME" "$TARDIR_NAME"
  rm -rf "$TARDIR"
fi

• 解壓

[hadoop@zhangyu software]$ sudo tar -zxvf spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz

5 Spark安裝包目錄結構說明

1. bin:存放客戶端相關的指令碼
2. conf:存放配置檔案
3. data:存放測試資料
4. examples:Spark自帶的測試用例，裡面有很多好的例子**
5. jars:存放Spark相關的jar包（最佳實踐）
6. sbin:存放服務端相關的指令碼,啟動停止叢集。。。
7. yarn：存放yarn相關的jar包