大資料平臺CDH搭建
摘要：
Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，簡稱“CDH”），基於Web的使用者介面,支援大多數Hadoop元件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,簡化了大...
Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，簡稱“CDH”），基於Web的使用者介面,支援大多數Hadoop元件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,簡化了大資料平臺的安裝、使用難度。
二、安裝部署
| 序號 | IP地址 | 主機名 | 系統版本 |
|---|---|---|---|
| 1 | 172.20.2.222 | cm-server | centos7.3 |
| 2 | 172.20.2.203 | hadoop-1 | centos7.3 |
| 3 | 172.20.2.204 | hadoop-2 | centos7.3 |
| 4 | 172.20.2.205 | hadoop-3 | centos7.3 |
2.2.1 基礎環境部署
a.修改主機名配置hosts
systemctl stop firewalld hostnamectl set-hostnamecm-server#更改個主機名 sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config setenforce 0 cat >>/etc/hosts<<EOF#新增各個節點hosts解析 172.20.2.222cm-server 172.20.2.203hadoop-1 172.20.2.204hadoop-2 172.20.2.205hadoop-3 EOF 複製程式碼
b.配置cm-server免金鑰登入其他節點
ssh-keygen -t rsa#在cm-server生成金鑰對 for num in `seq 1 3`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;done 複製程式碼
c.在cm-server安裝資料庫 在cm-server上安裝mariadb，用於後期資料儲存
yum install mariadb* systemctl start mariadb mysql -uroot password "mysqladmin" 登入資料庫後我們採用root登入 複製程式碼
e.java環境配置 如果系統有安裝java環境解除安裝乾淨使用oracle的jdk，此處使用 jdk-7u80-linux-x64.rpm ,在各節點均配置java環境
rpm -ivh jdk-7u80-linux-x64.rpm cat >/etc/profile.d/java.sh<<EOF export JAVA_HOME=/usr/java/jdk1.8.0_121 export CLASSPATH=.:\$JAVA_HOME/jre/lib/rt.jar:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar export PATH=\$PATH:\$JAVA_HOME/bin EOF source /etc/profile.d/java.sh 複製程式碼
f.配置各節點伺服器需求
sysctl -w vm.swappiness=10 echo "vm.swappiness=10" >>/etc/sysctl.conf echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled 複製程式碼
2.2.2 Cloudera Manager安裝
a.下載解壓相關軟體包
mkdir /software && cd /software wget -c https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 -O CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/manifest.json wget -c https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.zip tar -zxvf cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz -C /opt/#解壓cm包 unzip mysql-connector-java-5.1.46.zip#解壓java-mysql連線jar包 cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /opt/cm-5.14.1/share/cmf/lib/#將jar包複製到cm的lib目錄下 cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar 複製程式碼
b.建立使用者及初始化資料庫
useradd --system --home=/opt/cm-5.14.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm#在各個節點均建立使用者 vim /opt/cm-5.14.1/etc/cloudera-scm-agent/config.ini將其中的server_host=cm-server#指向cm-server usage: /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh [options] (postgresql|mysql|oracle) database username [password]#使用選項 /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql cmdb -h"cm-server" -uroot -pmysqladmin --scm-host cm-server scm scm scm 複製程式碼
c.將檔案將cm-server修改完成的檔案分發到其他各節點
for i in `seq 1 3`;do scp -r /opt/cm-5.14.1 hadoop-$i:/opt/;done 複製程式碼
d.建立本地源
mv CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel* manifest.json /opt/cloudera/parcel-repo/ 複製程式碼
e.啟動服務 在cm-server啟動server和agent服務，在其他節點啟動agent服務
/opt/cm-5.14.1/etc/init.d/cloudera-scm-server start /opt/cm-5.14.1/etc/init.d/cloudera-scm-agent start 複製程式碼
2.2.2 Cloudera Manager的web介面配置
伺服器均啟動後，可以瀏覽器訪問cm-server的7180埠,使用者名稱/密碼為admin/admin
接受協議繼續
可以選擇適用60天
提示一些涉及許可證的資訊
勾選管理的主機繼續操作
選擇CDH-5.14版本
parcel安裝
主機正確性檢查
群集設定（選擇安裝的服務）
自定義角色分配，選擇安裝在那個節點上
資料庫設定 需要提前建立資料庫及授權其他節點可以正常連線
稽核更改
叢集安裝
完成安裝
後期可新增服務
