1. 程式人生 > >CentOS 7離線安裝CDH 5.16.1完全指南(含各種錯誤處理)

CentOS 7離線安裝CDH 5.16.1完全指南(含各種錯誤處理)

二進制安裝 分鐘 mon 火墻 下一步 emc bsp 自動安裝 名稱

安裝包下載

1、CM軟件包下載

從http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16.1/RPMS/x86_64/下載rpm包,如下:

技術分享圖片

其實不需要下載j2sdk的,因為cm安裝過程中會自動安裝的,自己下載了也沒用(這個網上的一些文章說法是不正確的)。

2、cloudera-manager安裝文件下載

從http://archive.cloudera.com/cm5/installer/5.16.1/下載,如下:

技術分享圖片

3、rpm倉庫文件下載

從http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/下載,在最底部,如下:

技術分享圖片

4、parcel下載

從http://archive.cloudera.com/cdh5/parcels/5.16.1/下載el7版本,如下:

技術分享圖片

上傳rpm以及bin文件到/soft目錄(parcel、sha、manifest最後要放在/opt/cloudera/parcel-repo目錄,可以一起先上傳、也可以cloudera-manager安裝後再上傳)。如下:

技術分享圖片

環境準備

1、安裝mysql或postgresql,創建hive/hue/amon/oozie_oozie_server用戶並分配權限,最好不要使用內置數據庫,不然不好管理,註意先拷貝jdbc驅動到/usr/share/java目錄。

2、關閉防火墻

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall開機啟動
firewall-cmd --state #查看默認防火墻狀態(關閉後顯示notrunning,開啟後顯示running)
3、關閉selinux

vim /etc/selinux/config

找到SELINUX改為: SELINUX=disabled

安裝

1、Cloudera Manager RPM安裝

yum localinstall --nogpgcheck *.rpm

2、cloduera manager二進制安裝包安裝

chmod u+x cloudera-manager-installer.bin

./cloudera-manager-installer.bin

執行安裝命令,根據安裝向導一路next。finish之後,相同配置下順利安裝時間在1分鐘內即可完成,也可能2-3分鐘,這一步基本上不會有問題。

然後我們在web瀏覽器訪問 http://localhost:7180/,看是否能打開頁面,能打開說明沒有問題了,先不要進行登錄操作。

然後將parcel以及sha、manifest.json復制到/opt/cloudera/parcel-repo目錄,此時可以進入CDH服務安裝了。

卸載(可選)

有時候因為安裝中斷或者環境太亂需要重新搭建時,需要先卸載cloudera manger。卸載過程如下:

0、如果不是安裝過程中中斷,則需要先通過Cloudera Manager停止集群和Cloudera Manager服務

1、主節點卸載(單機的只要執行這個即可)。

/usr/share/cmf/uninstall-cloudera-manager.sh

rm -rf /etc/cloudera-scm-server/db.properties # 不然重新安裝會報錯

有時候安裝中斷卸載執行該命令時會報“找不到 mojosetup/mojosetup文件”的錯誤,此時可通過下列方式解決:

rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera*

2、從節點停止agent

service cloudera-scm-agent stop

3、主從節點

umount /var/run/cloudera-scm-agent/process rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/x86_64/6/cloudera* /var/log/cloudera* /var/run/cloudera* /etc/cloudera* 4、如果要100%幹凈卸載,不需要再重裝,還需要執行rm -rf /opt/cloudera,刪除Parcles
註:如果沒有通過cloudera-manager-installer.sh安裝,可以參考https://blog.csdn.net/csolo/article/details/52589763、https://blog.csdn.net/weixin_39478115/article/details/78878931進行卸載。

CDH服務安裝

Cloudera Manager Server以及Cloudera Manager Agent停止/啟動/隨機自動啟動

FAQ

1、cloudera manager在選擇服務後開始安裝前,測試數據庫時報“JDBC driver cannot be found. Unable to find the JDBC database jar on host”。

解決方法:jdb驅動放到/usr/share/java/目錄,例如mysql-connector-java-5.1.47.jar

2、在web界面安裝agent這一步,在“等待新安裝的 Agent 檢測信號...”這一步等待了1分鐘左右,提示如下錯誤:

安裝失敗。 無法接收 Agent 發出的檢測信號。

請確保主機的名稱已正確配置。
請確保端口 7182 可在 Cloudera Manager Server 上訪問(檢查防火墻規則)。
請確保正在添加的主機上的端口 9000 和 9001 空閑。
檢查正在添加的主機上 /var/log/cloudera-scm-agent/ 中的代理日誌(某些日誌可在安裝詳細信息中找到)。
如果在 Cloudera Manager 中啟用為代理使用 TLS 加密(管理 -> 設置 -> 安全),請確保 /etc/cloudera-scm-agent/config.ini在正在添加的主機上有 use_tls=1。重啟相應的代理,並單擊此處的重試鏈接。

因為沒有開啟TLS,所以不是這個問題,進一步研究猜測,我安裝的機器有兩個ip,一個是host-only,一個是nat,使用了host-only出現這個問題,退回去調整為nat的ip後,問題解決。如不是這個原因,可參考下https://q.cnblogs.com/q/110190。

3、在安裝的過程當中出現了主機運行狀態不良的情況,如下:

技術分享圖片

解決方法:find / -name cm_guid,找到這個文件,然後刪除,重裝即可(確實可解決,參考:http://www.bubuko.com/infodetail-2754562.html)。

4、在選擇parcel的步驟,放在/opt/cloudera/parcel-repo下的CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel怎麽都檢測不出來,只有內置的4.7。換成5.15.2也一樣。更多選項點進去目錄也是正確的。

解決方法:選擇使用數據包、然後下一步。因為實時下載非常慢,肯定下不去的,但是這一步好像是必要的,它會生成bt文件,如下。

技術分享圖片

然後卸載cloudera manager,重新安裝(註意:不要刪除/opt/cloudera目錄,然後就可以了)。一開始以為manifest.json的問題,經驗證不是。又以為是sha1名字沒有改為sha的問題,經驗證也不是該原因。還驗證過是不是cloudera-manager.repo中版本號的問題,經驗證,也不是(這裏面的版本號就不需要修改)。

猜測會不會需要先拷貝到/opt/cloudera/parcel-repo,然後執行cloudera-manager-install.sh就沒有這個問題了???

整體參考:https://blog.csdn.net/chenhai201/article/details/78856007

CentOS 7離線安裝CDH 5.16.1完全指南(含各種錯誤處理)