1. 程式人生 > >Cloudera Manager 5.12.0圖文詳解安裝過程

Cloudera Manager 5.12.0圖文詳解安裝過程

這裡介紹的是cdh5的離線安裝方式,需要的檔案提前準備好,安裝過程會快一些。

安裝前提:機器配置記憶體一定要高,我這裡安裝的虛擬機器均是redhat7:記憶體分別是6G,4G,4G。

準備的檔案:

mysql-connector-java-5.1.38.jar
cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz
manifest.json
CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha1
CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel

1、  安裝依賴,一個乾淨的作業系統,並能夠上網。

yum install perl psmisc python-lxml gcc-* cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain -y

2、  修改安全策略。

sed -i's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux

3、  關閉防火牆。

systemctl stop firewalld
systemctl disable firewalld

4、  安裝mysql。

wget http://repo.mysql.com/mysql57-community-release-el7-9.noarch.rpm
rpm –ivh mysql57-community-release-el7-9.noarch.rpm
yum install mysql-server

mysqld –initialize
mysqld –user=root &

//檢視/var/log/mysqld.log中隨機密碼,然後更改密碼

mysqladmin –uroot –p password
//輸入密碼I18ohgK-VWYo
//輸入新密碼
//輸入確認密碼

更改root連線屬性%,容許外部所有主機連結。

建立後續要用到的資料庫

create database hive default charset utf8;
create database oozie default charset utf8;
create database hue default charset utf8;
create database reports default charset utf8;//5.12.0版本需要

5、  設定免祕鑰登入,每臺機器上都執行相同的操作。

ssh-keygen –t rsa –P “”
ssh-copy-id node01 
ssh-copy-id node02 
ssh-copy-id node03

6、  master節點

tar -xzf cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz –C  /opt/

這一步執行成功,會在/opt目錄下生成cm-5.12.0和cloudera兩個目錄。我們需要將前面準備的三個檔案均放入/opt/cloudera/parcel-repo資料夾中。

manifest.json
CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha1
CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel

還需要修改CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha1為CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha,注意去掉後面的1。否則後面安裝的時候就是線上安裝,而不是離線安裝。

接下來建立cm資料庫。

/opt/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode01 -uroot -proot --scm-host localhost scm scm scm

修改/opt/cm-5.12.0/etc/cloudera-scm-agent/config.ini

[General]
#Hostname of the CM server.
server_host=node01

7、  複製/opt/cm-5.12.0到從節點上。

scm –r /opt/cm-5.12.0/ node02:/opt/
scm –r /opt/cm-5.12.0/ node03:/opt

為每個節點新增使用者

useradd --system--home=/opt/cm-5.12.0/run/cloudera-scm-server/ --no-create-home--shell=/bin/false 
--comment "cloudera-scm-user" cloudera-scm

8、  分別啟動服務端和agent端服務。

node01

/opt/cm-5.12.0/etc/init.d/clouder-scm-server start

node02

/opt/cm-5.12.0/etc/init.d/clouder-scm-agent start

node03

/opt/cm-5.12.0/etc/init.d/clouder-scm-agent start

9、  登入http://node01:7180/ 使用者名稱和密碼均為admin,我這裡地址是:http://10.119.9.149:7180/

進入主頁,選擇安裝的版本

繼續

檢視管理的節點

可以考慮將主節點上的agent也啟動,這樣這裡就有三個節點。

多了一個節點。

勾選全部主機,選擇下一步,選擇對應的版本。

安裝開始

這一步安裝完成的樣子。

檢查主機

echo 10 > /proc/sys/vm/swappiness

重新檢測

拷貝mysql資料庫驅動到hive依賴庫中,只需要拷貝到hive安裝的節點上。

cp mysql-connector-java-5.1.38.jar /opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/lib/

下面一步選擇預設。

資料庫檢查

資料庫檢查成功,繼續

稽核更改

開始安裝

恭喜,安裝成功。

最後附上文中相關檔案下載地址:

安裝成功之後,可以通過瀏覽器檢視hue webui介面,訪問地址是http://server:8888/

安裝過程中可能會出現一些錯誤,基本就是由於mysql驅動jar包沒有放到指定的位置導致的,另外可以到/opt/cm-5.12.0/run/cloudera-scm-agent/process/下檢視安裝的進度以及出錯的日誌。