1. 程式人生 > >CDH5.9 離線安裝或者升級spark2.x詳細步驟

CDH5.9 離線安裝或者升級spark2.x詳細步驟

Step1

安裝spark需要兩個檔案,一個是csd檔案,一個是parcel檔案。


我安裝的是2.1 Release2版本,後面兩列分別是這個兩個檔案的地址。

進入parcel的連結地址,如下圖:


我的系統是centos6,所以下載el6對應的兩個檔案,如果是centos7,就下載el7對應的檔案即可。

把劃紅線的三個檔案都下載下來。

Step2

選擇需要安裝的spark版本之前,需要安裝spark需要的一些軟體和軟體版本的要求。具體地址:

Step3

登入到Cloudera Manager的主機,把下載的檔案分別放到對應的資料夾。

csd檔案放到csd資料夾,其他的檔案放到parcel-repo資料夾。

預設是/opt/cloudera/csd和/opt/cloudera/parcel-repo

Step4

修改檔案的許可權,分別把owner和group修改成cloudera-scm,讀寫許可權改成644

Step5

service cloudera-scm-server restart

用上面的命令重啟。

Step6

登入到Cloudera Manager的管理平臺,進入parcel介面,這時候就可以看到你要安裝的spark了。

開始分配主機,直到啟用。

Step7

新增Spark服務到叢集。