大家都知道，Apache Hadoop的配置很繁瑣，而且很零散，為此Cloudera公司提供了Clouder Manager工具，而且還封裝了Apache Hadoop,flume,spark，hive,hbase等大資料產品形成自己特色的CDH產品，再使用CM進行安裝，很大程度上方便了叢集的搭建，並提供了叢集的監控功能。

一、環境:

1.三臺VMware虛擬機器(一個做為主節點，兩個做為從節點)

3.Cloudera Manager:5.14.1

4.CDH：5.14.0

5.JDK1.8

二、軟體下載地址

2.CDH

3.JDK和MySQL自行搜尋

三、系統環境設定:

以下步驟都使用root使用者操作

1.設定靜態IP

[[email protected] ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="edcb54db-f59d-4893-bd8e-8ae60d0ba6f9"
DEVICE="ens33"
ONBOOT="yes"
GATEWAY=192.168.124.2

還需要設定虛擬網路:

(1) 點選虛擬網路編輯器

(2)子網，子網掩碼，以及NAT設定

(3)虛擬機器網路選擇剛設定的VMnet8 

（4）重啟網路

[[email protected] ~]# systemctl restart network

2.關閉防火牆和SELINUX

[[email protected] ~]# vim /etc/selinux/config .config/
將selinux=enforcing改成selinux=disabled

重啟虛擬機器

3.安裝JDK

   CentOS7預設安裝的是OpenJDK,所以需要先解除安裝，然後安裝Oracle JDK.

（1）vim /etc/hostname

     hserver1n

 (2)hostname hserver1n

單臺虛擬機器設定好後，再複製兩臺虛擬機器，修改HostName、IP、UUID即可。 

5.配置三臺虛擬機器的Host檔案

192.168.124.136　　hserver1n

192.168.124.137　　hserver2n

192.168.124.138　　hserver3n

6.打通主節點SSH訪問兩個從節點

7.配置所有節點NTP時間同步服務

   兩個從節點同步主節點的時間

四、安裝MySQL

•  mysql只需在主節點安裝
•  mysql5.6開始mysql服務啟動時會為root使用者生成一個臨時密碼，通過grep 'password'  /var/log/mysqld.log命令獲取
•  配置密碼驗證策略，我選擇的是不使用密碼驗證策略，以便建立簡單密碼
•  配置資料庫字符集，我配置預設的字符集是utf8。

五、安裝Clouder Manager及CDH

所有節點操作:

1.新建目錄

$ sudo mkdir /opt/cloudera-manager

2.將下載的Clouder Manager解壓到此目錄下

$ sudo tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

 3.建立使用者cloudera-scm

由於Cloudera Manager和Managed Services預設使用cloudera-scm，所以需要建立此使用者

$ sudo useradd --system --home=/opt/cloudera-manager/cm-5.14.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

$ sudo mkdir /var/lib/cloudera-scm-server
$ sudo chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

5.配置Agent

配置所有節點的Agent，路徑:/opt/cloudera-manager/cm-5.14.1/etc/cloudera-scm-agent/config.ini,將server_host修改成主節點的主機名，如果主節點埠沒有自定義，則不用修改。

7.配置mysql，可以參考這裡

7.1 mysql安裝在主節點上，使用mysql命令登入

7.2 新建一個scm使用者，並賦予所有許可權，密碼是scm

mysql> grant all on *.* to 'scm'@'localhost' identified by 'temp' with grant option;
Query OK, 0 rows affected, 1 warning (0.00 sec)

7.3 建立資料庫scm

7.4 初始化cloudera manager

[[email protected] ~]# /opt/cloudera-manager/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh  mysql scm scm scm

JAVA_HOME=/usr/java/jdk1.7.0_80
Verifying that we can write to /opt/cloudera-manager/cm-5.14.1/etc/cloudera-scm-server
Creating SCM configuration file in /opt/cloudera-manager/cm-5.14.1/etc/cloudera-scm-server
Executing:  /usr/java/jdk1.7.0_80/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cloudera-manager/cm-5.14.1/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cloudera-manager/cm-5.14.1/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
Wed Mar 21 14:09:40 CST 2018 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
[                          main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!

當看最後一句話，就說明初始化成功了

注意scm賬戶不能刪除,因為cm以後還需要使用此賬戶，若想建立臨時使用者，則需要讓CM建立使用者和資料庫，此時可以刪除建立的臨時使用者。

可以使用命令：

/opt/cloudera-manager/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh  mysql -utemp -ptemp scm scm scm

8.將CDH安裝包移動主節點的/opt/cloudera/parcel-repo目錄下

移動的檔案有:

將CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1名稱改成CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha

9.啟動主節點的CM  Server和所有節點的Agent

路徑為:/opt/cloudera-manager/cm-5.14.1/etc/init.d 

[[email protected] init.d]# ./cloudera-scm-server start
Starting cloudera-scm-server:                              [  OK  ]

[[email protected] init.d]# ./cloudera-scm-agent start
Starting cloudera-scm-agent:                              [  OK  ]

10.開啟CM管理頁面,網址為:http://hserver1n:7180，

使用者名稱和密碼都是admin

11.選擇Cloudera Express

12.選擇主機

13.群集安裝

14.安裝完成後，檢查主機正確性

其中有兩項需要修改，一個是修改swapping閥值，從30修改成10，已最大限度使用記憶體，第二項是關閉透明大頁面壓縮功能，提高效能。

15.選擇要安裝的服務，這裡選擇核心Hadoop，以後需要安裝其它服務時，再根據需要安裝

 16.角色分配，儘量讓角色均衡地分配到所有主機上，以減少某一臺主機的壓力

17.建立資料庫使用者，及相關資料庫，並配置服務

mysql> grant all on *.* to 'yanggy'@'%' identified by '878963' with grant option;  
Query OK, 0 rows affected, 1 warning (0.03 sec)

mysql> create database hive;
Query OK, 1 row affected (0.01 sec)

mysql> create database hue;
Query OK, 1 row affected (0.01 sec)

mysql> create database ooz;
Query OK, 1 row affected (0.00 sec)

18.叢集相關服務的配置

    HDFS塊大小預設是128M，我這裡為測試方便，只配置了16M，其它的配置一些資料目錄，日誌目錄，以及埠

19.叢集搭建完成，並啟動了相關服務

20.叢集安裝合成後的初始介面，可以很明顯的看到叢集中安裝的服務和執行狀況，紅歎號是叢集中某些配置、空間與CM期望的不一樣，可以根據實際情況調整。