CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop眾多分支中的一種，由Cloudera維護，基於穩定版本的Apache Hadoop構建，並集成了很多補丁，可直接用於生產環境。
Cloudera Manager則是為了便於在叢集中進行Hadoop等大資料處理相關的服務安裝和監控管理的元件，對叢集中主機、Hadoop、Hive、Spark等服務的安裝配置管理做了極大簡化。
相關包的下載地址：
Cloudera Manager地址：http://archive.cloudera.com/cm5/cm/5/
CDH安裝包地址：http://archive.cloudera.com/cdh5/parcels/latest/

由於我們的作業系統為CentOS6.5，需要下載以下檔案：
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1
manifest.json
JDBC：http://download.softagency.net/MySQL/Downloads/Connector-J/

準備工作：系統環境搭建(阿里雲平臺)

以下操作均需要(root)管理員許可權
1.網路配置(所有節點)
修改主機名：vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=cdh1
 

NETWORKING_IPV6=no
PEERNTP=no

通過service network restart重啟網路服務
修改ip與主機名的對應關係：vim /etc/hosts

192.168.1.101   cdh1
192.168.1.102   cdh2
192.168.1.103   cdh3

2.打通SSH，設定ssh無密碼登陸（所有節點）
執行ssh-keygen -t rsa，一路回車，生成無密碼的金鑰對。
將公鑰新增到認證檔案中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys，並設定authorized_keys的訪問許可權：chmod 600 ~/.ssh/authorized_keys

。
通過scp命令將各節點的認證檔案拷貝到所有其他節點使得各節點能夠相互訪問。
3.安裝Oracle的Java（所有節點）
CentOS自帶OpenJdk，不過執行CDH5需要使用Oracle的JDK，需要Java 7的支援。
解除安裝自帶的OpenJdk，使用rpm -qa | grep java查詢java相關的包，使用rpm -e --nodeps 包名解除安裝之。
去Oracle的官網下載jdk的rpm安裝包，並使用rpm -ivh 包名安裝，最後配置環境變數。
4.安裝配置MySql（主節點）
通過yum install mysql-server安裝mysql伺服器。chkconfig mysqld on設定開機啟動，並service mysqld start啟動mysql服務，並根據提示設定root的初試密碼：mysqladmin -u root password 'xxxx'。
mysql -uroot -pxxxx進入mysql命令列，建立以下資料庫：

#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

設定root授權訪問以上所有的資料庫：

#授權root使用者在主節點擁有所有資料庫的訪問許可權
grant all privileges on *.* to 'root'@'cdh1' identified by 'xxxx' with grant option;flush privileges;

5.關閉防火牆和SELinux
注意： 需要在所有的節點上執行，因為涉及到的埠太多了，臨時關閉防火牆是為了安裝起來更方便，安裝完畢後可以根據需要設定防火牆策略，保證叢集安全。
關閉防火牆：

service iptables stop （臨時關閉）  
chkconfig iptables off （重啟後生效）

關閉SELINUX（實際安裝過程中發現沒有關閉也是可以的，不知道會不會有問題，還需進一步進行驗證）:

setenforce 0 （臨時生效）  
修改 /etc/selinux/config 下的 SELINUX=disabled （重啟後永久生效）

6.所有節點配置NTP服務
叢集中所有主機必須保持時間同步，如果時間相差較大會引起各種問題。 具體思路如下：
master節點作為ntp伺服器與外界對時中心同步時間，隨後對所有datanode節點提供時間同步服務。
所有datanode節點以master節點為基礎同步時間。
所有節點安裝相關元件：yum install ntp。完成後，配置開機啟動：chkconfig ntpd on,檢查是否設定成功：chkconfig --list ntpd其中2-5為on狀態就代表成功。
主節點配置
在配置之前，先使用ntpdate手動同步一下時間，免得本機與對時中心時間差距太大，使得ntpd不能正常同步。這裡選用65.55.56.206作為對時中心,ntpdate -u 65.55.56.206。
ntp服務只有一個配置檔案，配置好了就OK。 這裡只給出有用的配置，不需要的配置都用#注掉，這裡就不在給出：

driftfile /var/lib/ntp/drift
restrict 127.0.0.1restrict -6 ::1
restrict default nomodify notrap 
server 65.55.56.206 prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

配置檔案完成，儲存退出，啟動服務，執行如下命令：service ntpd start
檢查是否成功，用ntpstat命令檢視同步狀態，出現以下狀態代表啟動成功：

synchronised to NTP server () at stratum 2time correct to within 74 mspolling server every 128 s

如果出現異常請等待幾分鐘，一般等待5-10分鐘才能同步。
配置ntp客戶端（所有datanode節點）

driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#這裡是主節點的主機名或者ip
server cdh1
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

ok儲存退出，請求伺服器前，請先使用ntpdate手動同步一下時間：ntpdate -u cdh1 (主節點ntp伺服器)
這裡可能出現同步失敗的情況，請不要著急，一般是本地的ntp伺服器還沒有正常啟動，一般需要等待5-10分鐘才可以正常同步。啟動服務：service ntpd start
因為是連線內網，這次啟動等待的時間會比master節點快一些，但是也需要耐心等待一會兒。

正式開工

安裝Cloudera Manager Server 和Agent
主節點解壓安裝
cloudera manager的目錄預設位置在/opt下，解壓：tar xzvf cloudera-manager*.tar.gz將解壓後的cm-5.3.3和cloudera目錄放到/opt目錄下。
為Cloudera Manager 5建立資料庫
首先需要去MySql的官網下載JDBC驅動，http://dev.mysql.com/downloads/connector/j/，解壓後，找到mysql-connector-java-5.1.35-bin.jar，放到/opt/cm-5.3.3/share/cmf/lib/中。
在主節點初始化CM5的資料庫：

/opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

Agent配置
修改/opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini中的server_host為主節點的主機名。
同步Agent到其他節點

scp -r /opt/cm-5.3.3 root@n2:/opt/

在所有節點建立cloudera-scm使用者

useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

準備Parcels，用以安裝CDH5
將CHD5相關的Parcel包放到主節點的/opt/cloudera/parcel-repo/目錄中（parcel-repo需要手動建立）。
相關的檔案如下：

CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1
manifest.json

最後將CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1，重新命名為CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha，這點必須注意，否則，系統會重新下載CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1檔案。
相關啟動指令碼
通過/opt/cm-5.3.3/etc/init.d/cloudera-scm-server start啟動服務端。
通過/opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start啟動Agent服務。
我們啟動的其實是個service指令碼，需要停止服務將以上的start引數改為stop就可以了，重啟是restart。
CDH5的安裝配置
Cloudera Manager Server和Agent都啟動以後，就可以進行CDH5的安裝配置了。
這時可以通過瀏覽器訪問主節點的7180埠測試一下了（由於CM Server的啟動需要花點時間，這裡可能要等待一會才能訪問），預設的使用者名稱和密碼均為admin：

各個Agent節點正常啟動後，可以在當前管理的主機列表中看到對應的節點。選擇要安裝的節點，點繼續。

接下來，出現以下包名，說明本地Parcel包配置無誤，直接點繼續就可以了。

點選，繼續，如果配置本地Parcel包無誤，那麼下圖中的已下載，應該是瞬間就完成了，然後就是耐心等待分配過程就行了。

接下來是伺服器檢查，可能會遇到以下問題：
Cloudera 建議將 /proc/sys/vm/swappiness 設定為 0。當前設定為 60。使用 sysctl 命令在執行時更改該設定並編輯 /etc/sysctl.conf 以在重啟後儲存該設定。您可以繼續進行安裝，但可能會遇到問題，Cloudera Manager 報告您的主機由於交換執行狀況不佳。以下主機受到影響：
通過echo 0 > /proc/sys/vm/swappiness即可解決。

接下來是選擇安裝服務：

服務配置，一般情況下保持預設就可以了（Cloudera Manager會根據機器的配置自動進行配置，如果需要特殊調整，自行進行設定就可以了）：

接下來是資料庫的設定，檢查通過後就可以進行下一步的操作了：

下面是叢集設定的審查頁面，全部保持預設配置即可：

終於到安裝各個服務的地方了，注意，這裡安裝Hive的時候可能會報錯，因為我們使用了MySql作為hive的元資料儲存，hive預設沒有帶mysql的驅動，通過以下命令拷貝一個就行了：

cp /opt/cm-5.3.3/share/cmf/lib/mysql-connector-java-5.1.35-bin.jar /opt/cloudera/parcels/CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel/lib/hive/lib/

接下靜靜地等待即可。

安裝完成後，就可以進入叢集介面看一下叢集的當前狀況了。
這裡可能會出現無法發出查詢：對 Service Monitor 的請求超時的錯誤提示，如果各個元件安裝沒有問題，一般是因為伺服器比較卡導致的，過一會重新整理一下頁面就好了：