簡介： 在我的CDH5.11叢集中，預設安裝的spark是1.6版本，這裡需要將其升級為spark2.x版本。經查閱官方文件，發現spark1.6和2.x是可以並行安裝的，也就是說可以不用刪除預設的1.6版本，可以直接安裝2.x版本，它們各自用的埠也是不一樣的。我嘗試了安裝spark2.0版本和spark2.1版本，均告成功。這裡做一下安裝spark2.1版本的步驟記錄。 首先貼出一些官方的網址，有興趣的可以去看看： Cloudera Manager及5.11版本的介紹：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_parcels.html#cmug_topic_7_11_5__section_sd4_bzx_bm 一。安裝準備 所需軟體

注意，下載對應版本的包，我的CentOS7，所以下載el7的包，若是CentOS6，就要下el6的包。 特別注意，如果你安裝spark2.1，按照上面下載就是了，注意一下作業系統的版本；如果你不打算安裝spark2.1，想安裝其他版本，比如2.0，那麼一定要注意下面的事項： 如果你仔細瀏覽過這些路徑，會發現下圖中，csd和parcel包會有.clouderal1和.clouderal2之分，和2.0與2.1版本之分，那麼在下載parcel時也要注意，下載對應的包。即如果下載到的是.clouderal1的csd包，下載parcel包也要下載檔名中是.clouderal1的包，不能下載.clouderal2的包，同時csd2.0的包也不能用於parcel2.1的包，不然很可能安不上 csd包所在的目錄：
parcel包所在的目錄
二。開始安裝 1.安裝前可以停掉叢集和Cloudera Management Service，也可以不停，但是待會還是要停止重啟的。 2.下面的操作在每個CDH節點都要進行。 3.上傳CSD包到機器的/opt/cloudera/csd目錄，並且修改檔案的使用者和組。注意如果本目錄下有其他的jar包，把刪掉或者移到其他目錄 [[email protected] csd]# chgrp cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera1.jar [[email protected] csd]# ls -la total 16 drwxr-xr-x 2 cloudera-scm cloudera-scm    47 Jun 23 16:11 . drwxr-xr-x 6 cloudera-scm cloudera-scm    67 May  1 17:46 .. -rw-r--r-- 1 root         cloudera-scm 16109 Jun 23 16:04 SPARK2_ON_YARN-2.1.0.cloudera1.jar [

[email protected] csd]# chown cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera1.jar [[email protected] csd]# ls -la total 16 drwxr-xr-x 2 cloudera-scm cloudera-scm    47 Jun 23 16:11 . drwxr-xr-x 6 cloudera-scm cloudera-scm    67 May  1 17:46 .. -rw-r--r-- 1 cloudera-scm cloudera-scm 16109 Jun 23 16:04 SPARK2_ON_YARN-2.1.0.cloudera1.jar [[email protected] csd]# 4.上傳parcel包到機器的/opt/cloudera/parcel-repo目錄下。注意，。如果有其他的安裝包，不用刪除 ，但是如果本目錄下有其他的重名檔案比如manifest.json檔案，把它重新命名備份掉。然後把那3個parcel包的檔案放在這裡。 5.如果剛剛沒有停掉CM和叢集，現在將他們停掉。然後執行命令。 service cloudera-scm-agent restart service cloudera-scm-server restart 這兩個命令，只需要在CM server節點執行，並且按照官方來說只用執行第二個命令，但因為我安裝失敗過幾次，這裡都運行了，並且如果你安裝失敗，這裡也可以兩個命令都執行，並且如果多次失敗，還可以嘗試在所有CDH節點都執行一下，我是這麼做了的 6.把CM和叢集啟動起來。然後點選主機->Parcel頁面，看是否多了個spark2的選項。如下圖，你這裡此時應該是分配按鈕，點選，等待操作完成後，點選啟用按鈕
7.啟用後，點選你的群集-》新增服務，新增spark2服務。注意，如果你這裡看不到spark2服務，就請檢查你的CSD包和parcel包是否對應，上面的步驟是否有漏掉。正常情況下，應該是能用了。我的叢集到此已經OK，來張圖紀念一下吧，不容易啊，網上資料太少了。