1. 程式人生 > >搭建CDH實驗環境,以三個節點為例的安裝配置

搭建CDH實驗環境,以三個節點為例的安裝配置

包名 技術 move remote type -s 用戶密碼 reat 51cto

(一)實驗環境
l 實驗介質
n CentOS-7-x86_64-Everything-1708.iso
n jdk-8u161-linux-x64.rpm
n cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
n CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
n CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
n manifest.json

l 準備三臺CentOS虛擬機,三個節點:一個Cloudera Manager節點、兩個Agent節點
安裝如下:
n CDH71:Server GUI、Development Tools、MariaDB

n CDH72、CDH73:Server GUI、Development Tools
(二)安裝配置CentOS(每臺機器)
註意把下面的兩個選項選上
l Server With GUI
l Development Tools
l MariaDB Server(就是MySQL數據庫):註意只在cdh71上安裝
技術分享圖片
l 關閉防火墻
systemctl stop firewalld.service
systemctl disable firewalld.service

l 配置主機名:編輯/etc/hosts文件
l 配置免密碼登錄
l 配置ntp服務
? 創建目錄:mkdir /root/cdroom/
? 掛載光盤:mount /dev/cdrom /root/cdroom/

? 刪除原來的所有repo文件
? 創建yum的源文件: vi /etc/yum.repos.d/my.repo
[centos-yum]
baseurl=file:///root/cdroom
enabled=1
gpgcheck=0
? 開啟NTP服務
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
l yum -y install psmisc ---> 安裝pstree命令

(三)安裝JDK(每臺機器)
一定註意,這一步跟之前不一樣!!!
l 卸載系統原有的Java環境
第一步:使用下面的命令查看當前所有的Java環境的安裝包

rpm -qa | grep java
第二步:使用下面的命令刪除所有的Java安裝包
rpm -e --nodeps 包名

l 安裝新的JDK環境
? 將jdk-8u161-linux-x64.rpm上傳到/opt目錄
? 安裝JDK:rpm -ivh jdk-8u161-linux-x64.rpm
? 執行下面的命令,設置環境變量:
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

l 驗證JDK環境
技術分享圖片
(四)配置MariaDB(在cdh71上)
l 啟動MariaDB
systemctl start mariadb
systemctl enable mariadb (開機自啟動)

l 配置MariaDB
mysql_secure_installation
#首先是設置密碼,會提示先輸入密碼
Enter current password for root (enter for none):<–初次運行直接回車
#設置密碼
Set root password? [Y/n] <–是否設置root用戶密碼,輸入y並回車或直接回車
New password: <– 設置root用戶的密碼
Re-enter new password: <– 再輸入一次你設置的密碼
#其他配置
Remove anonymous users? [Y/n] <– 是否刪除匿名用戶,回車
Disallow root login remotely? [Y/n] <–是否禁止root遠程登錄,回車,
Remove test database and access to it? [Y/n] <– 是否刪除test數據庫,回車
Reload privilege tables now? [Y/n] <– 是否重新加載權限表,回車

l 初始化MariaDB
登錄數據庫:mysql -uroot -pWelcome_1
create database hive;
create database amon; ---> 這個是CDH的activity monitor
create database oozie;
create database hue;

l 安裝數據庫驅動
yum install mysql-connector-java
(五)安裝配置Clouder Manager(在cdh71上)
l 將cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz上傳至/opt目錄,並解壓
tar -zxvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz

l 將mysql的驅動放到/opt/cm-5.12.1/share/cmf/lib/中
cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.12.1/share/cmf/lib/

l 初始化Cloudera Manager的數據庫元信息
/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pWelcome_1 --scm-host localhost scm scm scm

l 創建cloudera-scm用戶
useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

l 將以下文件上傳至/opt/cloudera/parcel-repo/目錄
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
manifest.json

l 重命名文件CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
改名為:CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha (註意:少了一個1)

l 修改/opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini中的server_host為主節點的主機名。

(六)配置Cloudera Agent(cdh72和cdh73)
l 從主節點cdh71上將Cloudera Manager Agent復制到agent節點(cdh72和cdh73)上
scp -r /opt/cm-5.12.1 root@cdh72:/opt/
scp -r /opt/cm-5.12.1 root@cdh73:/opt/

l 在agent節點(cdh72和cdh73)上創建cloudera-scm用戶
useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
(七)部署CDH5
l 在cdh71啟動服務Cloudera Manager Server
/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start

l 在cdh72和cdh73上啟動的agent
/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start

l 訪問cdh71上的Cloudera Manager:
端口:7180(http://192.168.247.71:7180/cmf/login)
技術分享圖片
用戶名密碼:admin/admin
l 接受用戶條款
l 選擇60天試用版
l 點擊“繼續”
l 為CDH群集安裝指定主機(選擇cdh72和cdh73)

l 選擇存儲庫(註意:要刪除默認的遠程庫。如果之前沒有做這一步,會有錯誤。需要重新安裝)
技術分享圖片
l 將存儲庫部署到主機
技術分享圖片

l 檢查主機正確性
技術分享圖片
在cdh72和cdh73上,執行下面的語句,並“重新運行”
echo 10 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
l 選擇您要在群集上安裝的 CDH 5 服務。(以HDFS為例)
步驟省略......(因為這一步很簡單)
註意:需要在cdh71上創建report數據庫,如下:
create database report;
create user ‘reportmanager‘@‘%‘ identified by ‘Welcome_1‘;
grant all on report. TO ‘reportmanager‘@‘%‘;
grant all on report.
TO ‘reportmanager‘@‘localhost‘ identified by ‘Welcome_1‘;
l 部署成功
技術分享圖片
Cloudera Manager首頁
技術分享圖片

l 檢查每臺機器上的Java後臺進程
技術分享圖片

搭建CDH實驗環境,以三個節點為例的安裝配置