1. 程式人生 > >安裝CDH5.15.0過程詳細記錄¥坑與解決辦法(20180724)

安裝CDH5.15.0過程詳細記錄¥坑與解決辦法(20180724)

參考了網上很多教程,踩過很多坑,總結一篇,僅供參考:

node1 , node2, node3 ;其中node1 為主節點,2 3為從節點。

機子記憶體太小不建議安裝測試學習,否則過程很難受 。。。說實話8g不建議考慮。16g還勉強。。。

最好是32g+的伺服器。

下載相關軟體包(推薦使用迅雷下載,國外源太慢,迅雷下載比較快原理自己瞭解)

部署過程

系統預處理

以下操作針對每個例項 !!!!!以下操作針對每個例項 !!!!!以下操作針對每個例項 !!!!!

(某都以root使用者操作,僅供學習參考。)

配置Hosts:

vim /etc/hosts
192.168.83.140 node1
192.168.83.121 node2
192.168.83.142 node3

關閉防火牆並禁止開機啟動:

systemctl stop firewalld.service
systemctl disable firewalld.service

關閉SELINUX:

vim /etc/selinux/config
SELINUX=disabled
reboot 0 // 重啟生效,不過可稍後重啟
ssh-keygen -t rsa // 兩次回車
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

配置主節點免密登陸各從節點。在各個從節點上生成公鑰並將其傳送新增到主節點已知金鑰中:

ssh-keygen -t rsa // 回車
ssh-copy-id -i ~/.ssh/id_rsa.pub 
[email protected]

配置從節點間免密登陸。將主節點上存放的已知金鑰傳送到各從節點:

scp ~/.ssh/authorized_keys [email protected]:~/.ssh/
scp ~/.ssh/authorized_keys [email protected]:~/.ssh/
scp ~/.ssh/authorized_keys [email protected]:~/.ssh/

元件安裝與配置

上傳軟體包
將相關軟體包上傳至各各各各例項。其中主節點需要上傳所有軟體包,從節點需要上傳如下五個檔案:
oracle-j2sdk1.7-1.7.0 update67-1.x86_64.rpm
jdk-7u80-linux-x64.rpm
cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
cloudera-manager.repo

安裝JDK(各節點)
首先需要解除安裝預裝JDK:

rpm -qa | grep java //查詢是否有預裝JDK
yum remove java* //若有,予以刪除

執行安裝:

rpm -ivh jdk-7u80-linux-x64.rpm
rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

環境變數:

vi /etc/profile
// 在尾部新增:
export JAVA_HOME=/usr/java/jdk1.7.0_80
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
// 使之生效並測試:
source /etc/profile
java -version

NTP時間同步配置(各節點)
時間同步對節點間協調很重要。
安裝NTP(各節點):

yum install ntp -y

修改配置檔案/etc/ntp.conf(主節點):

// server 0 上一行新增北郵NTP伺服器地址:
server s2c.time.edu.cn prefer

測試同步一次時間(主節點):

ntpdate s2c.time.edu.cn

啟動NTP並配置開機啟動(主節點):

systemctl start ntpd
systemctl enable ntpd

使用ntpstat命令檢視是否已成功完成同步,如下是完成同步的狀態。同步需要一定的時間,請耐心等待。

synchronised to NTP server (202.112.10.36) at stratum 6 
   time correct to within 1338 ms
   polling server every 64 s

從節點與主節點同步時間,在各從節點設定定時同步任務:(非生產環境下不成功問題也不大)。

ntpdate cdh-master // 與主節點同步一次時間
crontab -e // 建立計劃任務
00 */1 * * * /usr/sbin/ntpdate cdh-master >> /root/ntpdate.log 2>&1 // 每1小時與主節點執行一次時間同步
crontab -l // 檢視計劃任務

安裝Cloudera Manager

主節點安裝
修改倉庫檔案中的版本號:

baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/
// 修改為:
baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/

安裝4個cloudera開頭的rpm和1個enterprise開頭的rpm:

yum localinstall --nogpgcheck cloudera-* enterprise-*

從節點安裝
修改倉庫檔案中的版本號:

baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/
// 修改為:
baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/

安裝cloudera-manager-agentcloudera-manager-daemons兩個rpm:

// 注意這兩個rpm有依賴關係,需要一同安裝:
yum localinstall --nogpgcheck cloudera-manager-agent* cloudera-manager-daemons*

在主節點安裝cloudera-manager-installer.bin
設定安裝許可權、刪除原資料庫連線屬性、開始安裝:

chmod +x cloudera-manager-installer.bin
rm -rf /etc/cloudera-scm-server/db.properties
./cloudera-manager-installer.bin  // 希望你一直用的是root使用者。此命令最好在桌面環境下的terminal執行

小結:一路下來如果使用root使用者,基本不會有許可權問題,安裝過程中許可權,防火牆問題最惱人。如果你看到了這裡的話,希望你也可以注意到部分是區分割槽分割槽分主節點,從節點安裝的。

./cloudera-manager-installer.bin  //此步驟後只需點選next,yes等。中途出錯請檢查是否為root使用者,或者前置步驟是否有誤。作者錯了很多次。最後決定一路root使用者。

//  最好啟動瀏覽器的時候,也用root使用者,然後配置cloudera manager

出現安裝ok後,不要直接進入localhost:7180去配置安裝。先:

新增CDH包(主節點)

新增下載好的parcel
將下載好的CDH包及校驗資訊(注意重新命名)移動至如下目錄:

mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel /opt/cloudera/parcel-repo/
// 以下,校驗資訊sha1改為sha:
mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha

設定許可權並重啟cloudera-scm-server

chown cloudera-scm.cloudera-scm /opt/ -R
chown cloudera-scm.cloudera-scm /var/log/cloudera-scm-agent -R
/etc/init.d/cloudera-scm-server restart // 重啟需要一定時間

CDH安裝與分發完成後可能會出現如下提示

Cloudera recommends setting /proc/sys/vm/swappiness to a maximum of 10. Current setting is 30. Use the sysctl command to change this setting at run time and edit /etc/sysctl.conf for this setting to be saved after a reboot. You can continue with installation, but Cloudera Manager might report that your hosts are unhealthy because they are swapping. The following hosts are affected:

vm.swappiness=10新增至/etc/sysctl.conf中,讓例項儘可能的使用實體記憶體以提升效能。

 echo 'vm.swappiness=10'>> /etc/sysctl.conf
// 重啟機器以生效:(此時三個節點最好都要重啟以過載前面修改的配置)
reboot 0

重啟機器後請注意檢查cloudera-scm-servercloudera-scm-agent是否都處於執行狀態後再開始安裝。

/etc/init.d/cloudera-scm-server restart(主節點)

/etc/init.d/cloudera-scm-agent restart(所有節點)

開始安裝

在瀏覽器中輸入主節點IP地址加埠號7180,輸入預設使用者名稱和密碼,進入安裝嚮導,同意相關協議,選擇相應的版本,開始安裝。
安裝嚮導完成後即完成CDH的安裝過程。若在安裝過程中報錯,請檢查先前步驟是否完成,並嘗試重新啟動(機器或cloudera-scm-agent

不再截圖:安裝過程詳細可移步下連結的開始安裝部分:

排錯:

4.cm中會有單使用者模式(single user mode)即以一個使用者管理各個角色的服務。否則每個服務的使用者都是不同的。如HDFS服務的使用者就是HDFS,Hive的使用者就是Hive,不便管理。

相關推薦

安裝CDH5.15.0過程詳細記錄解決辦法20180724

參考了網上很多教程,踩過很多坑,總結一篇,僅供參考: node1 , node2, node3 ;其中node1 為主節點,2 3為從節點。 機子記憶體太小不建議安裝測試學習,否則過程很難受 。。。說實話8g不建議考慮。16g還勉強。。。 最好是32g+的伺服器。

Centos6安裝CDH5.15.1最詳細版-3 安裝Mysql資料庫

安裝Mysql 安裝包為:MySQL-5.6.41-1.el6.x86_64.rpm-bundle.tar 下載完成後上傳伺服器: 解壓tar包,並新增執行許可權 ## 解壓tar包 tar -xvf MySQL-5.6.41-1.el6.x86_64

Centos6安裝CDH5.15.1最詳細版-4 安裝Cloudera Manager

配置網路yum源為阿里雲源 完全離線的話可以不做 三臺伺服器都需要配置 1.1 備份原來的配置 mkdir -p /etc/yum.repos.d/bak mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak 1.

xp sp3安裝.Net 4.0提示嚴重錯誤,0x80070643,解決辦法2017版

完成 防止 結構 key framework regedit str 2014年 關系 客戶電腦上要裝金稅開票軟件,需要.net 4.0.30319.1,電腦環境是xp sp3,已經安裝了.net 2, .net 3.5sp1,安裝.net 4.0的時候提示錯誤0x8007

WIN7 64位系統 CDC類 虛擬串列埠驅動無法安裝解決辦法2

(1)最近用STM32使用USB——CDC類出現驅動安裝失敗的情況。 百度了一些網頁,方法很多,大多數是按照如下步驟處理: 首先,確保C:\Windows\System32\drivers\usbser.sys檔案存在; 其次,修改C:\Windows\inf\mdmcpq.inf檔

關於pycharm中安裝第三方庫時報錯的解決辦法

記錄自己的生活!   一、事發背景 在pycharm中直接安裝第三方庫時因為版本問題總是無法安裝成功,事情不大,但是很重要。   二、經過 最開始我自己電腦上安裝了Python3.6和Python2.7兩個版本,我正常使用是3.6版的。因

SQL server安裝時顯示重啟計算機失敗問題解決辦法 win10

前幾天在裝SQL server2016的時候,一直顯示重啟計算機失敗,網上的方法也找來用了,但是重啟完還是同樣的問題,因為我電腦上已經裝好了VS2017,所以網上說這兩個不可以同時存在,或者說是要先裝SQL server再裝VS才可以,但是我覺得不是這問題,試了很多種方法,最後在一次測試中點關機

anacondaVSCODE配置過程中遇到的問題解決辦法

重新用anaconda時遇到了一點問題。 測試VSCODE時寫了一行print(1),然後報錯。 後來發現用anaconda下載vscdoe時並不會給python一個路徑,這個路徑需要自己新增 { "name": "Python: Current File (Integrate

Window10系統下安裝Ubuntu雙系統教程及一些問題的解決辦法重要

最近接觸Ubuntu,安裝雙系統時踩了不少坑,網上能查到的攻略和安裝教程基本都看的差不多了,有些教程版本太老,解釋得也不是很明確,現在再安裝時可能會把人引入誤區,因此寫一篇安裝指南,閒話少說,開始。 本文安裝標準的雙系統,非虛擬機器,採用U盤安裝方法,grub2引導。 準備

安裝驅動提示找不到雜湊值的解決方法WIN10

安裝openJTAG驅動時出現“檔案的雜湊值不在指定的目錄”,系統為WIN10專業版。原因是驅動無數字簽名,在WIN10中是不安全的驅動,所以顯示雜湊值不在範圍內不能安裝。解決方法:1.找到WIN10的設定,點選“設定”2.點選最後一個“更新和回覆”,然後點選“恢復”3.點選

安裝Adobe air時出錯:管理員可能不允許安裝此軟體問題解決辦法Windows8

[2014-05-24:14:45:25] Runtime Installer begin with version 14.0.0.96 on Windows 8 x86 [2014-05-24:14:45:25] Commandline is: -stdio \\.\pipe\AIR_4764_0 -ei

tensorflow-GPU的配置詳解細數配置過程中遇見的解決方式

細數自己搭建TensorFlow-gpu環境中遇到的坑及解決方式:1、安裝anaconda,一路下來點選next,然後預設配置(這裡不再細講)2、安裝裝TensorFlow-gpu -->pip install tensorflow-gpu(也可以選擇自己想要的版本安裝

ubantu雙系統安裝、解除安裝及卡在登入介面解決辦法UEFI

關於分割槽,只要分配的合理即可,不需要完全按照他們的來。 改變啟動項的位置,UEFI建議使用easyUEFI。 三、安裝好後重新啟動,會卡在登入介面(跟顯示卡有關) 可以參考這篇博文改正https://blog.csdn.net/qq_36982160

編譯打包spark-1.6.0-cdh5.11.0-src詳細過程及問題記錄

簡介 要深入學習spark,閱讀原始碼,修改原始碼,學會自己編譯打包spark是必須邁過的一道坎。折騰了兩天,先後編譯打包了spark-1.6.0-cdh5.11.0-src,spark-1.6.0-cdh5.13.0-src版本,現在記錄過程,及遇到的問題如下。 環境

CDH5.15.0安裝失敗後重裝

1. 刪除所有節點在安裝過程中產生的檔案       rm -rf /opt/cloudera-manager/cm-5.15.0/lib/cloudera-scm-agent/*      rm -rf  /var/

在CentOS7上通過RPM安裝實現LAMP+phpMyAdmin過程記錄

isp -s 管理工具 gpgcheck b2c link 5.5 art http 在CentOS7上通過RPM安裝實現LAMP+phpMyAdmin過程全記錄 時間:2017年9月20日 一、軟件環境: IP:192.168.1.71 Hostname:centos73

centos7上安裝CDH5.10.0 認不到主機

scm 問題解決 ole ssi 主機 proc 方法 cdh iso 最近在centos7上安裝CDH5.10.0 認不到主機 異常提示: cloudemanager安裝時出現ProtocolError: <ProtocolError for 127.0.0.1/R

Linux-CentOS7下安裝Elasticsearch6.3.0詳細步驟

檢測是否安裝了Elasticsearch ps aux|grep elasticsearch 1、安裝JDK Elastic 需要 Java 8 環境 安裝JDK具體操作,請點選連結 2、下載Elasticsearch wget https://artifacts.elast

PostgreSQL+REDIS_FDW詳細記錄過程之遠端操作redis

準備:  redis 以及pg都開啟並都能遠端訪問  1.redis  開啟遠端訪問  修改Redis配置檔案/etc/redis/redis.conf,找到bind那行配置: # bind 127.0.0.1 2.去掉#註釋並改為:

PostgreSQL+REDIS_FDW詳細記錄過程

為Pg安裝redis_fdw外掛 安裝PG https://blog.csdn.net/qq_36934544/article/details/82854762 1.為redis_fdw建立資料夾contrib :mkdir /monchickey/pgsql/contrib [[em