1. 程式人生 > >cdh5.15集群添加spark2.3服務(parcels安裝)

cdh5.15集群添加spark2.3服務(parcels安裝)

col 進行 sta alt 分享圖片 目錄 方式 topic parcel

背景:

機器系統:redhat7.3;已經配置了http服務

集群在安裝的時候沒有啟動spark服務,因為cdh5.15自帶的spark不是2.0,所以直接進行spark2.3的安裝

參考文檔:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

一、下載:(註意版本對應)

1.準備csd文件

路徑http://archive.cloudera.com/spark2/csd/

技術分享圖片

2.準備parcels文件

路徑http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera3/

技術分享圖片

二、準備:

3.將csd文件放在 分發目錄中(默認/opt/cloudera/csd目錄,每個節點都要!!

註:要保證集群的本地描述符存儲庫路徑是/opt/cloudera/csd
查看方式:CM主界面管理–>設置–>類別(本地描述符存儲庫路徑)

4.將parcel文件放置在/var/www/html/spark2/parcels/latest目錄下,且保證http能夠訪問(因為我這裏的/var/www/html目錄存儲不夠了,所以我做了軟連接)

5.重啟cm server

三、安裝parcels
1、主機–>parcels–>配置–>填寫url–>檢查新的parcel
2、下載–>分配—>激活

四、添加服務
1、點擊集群按鈕旁的添加服務
2、選擇spark2 –>繼續
3、選擇依賴
4、角色分配(Gateway所有主機都要安裝)
5、啟動

五、安裝jdk1.8和scalar

cdh5.15集群添加spark2.3服務(parcels安裝)