最近因工作需要在一個完全離線的模式下安裝一個CDH叢集，在安裝的過程中遇到許多問題，在此做個簡單的記錄。

首先在安裝之前有幾點問題需要注意

1建議使用root使用者進行安裝，因為在安裝過程中CDH預設安裝的時候，會建立各種使用者，hdfs，hive，spark，impala，sqoop等等的使用者，但往往我們在做一些操作的時候往往許可權不夠，導致各種各樣的問題。我在嘗試使用非root使用者安裝過程中沒有成功。

2在使用root使用者安裝的過程中其實ssh免密並不是必須的。（我得到的許可權只能使用sudo -s切換到root使用者，實際測試沒有完全切換到root使用者環境不能配置ssh免密，但是並不影響後續正常執行）但是在安裝過程中有些步驟有需要手動分發包的情況，只要能把包分發過去就行

3安裝前需要配置本地ntp時鐘同步

以下是實際安裝步驟：

一、在主節點離線安裝mysql

直接去官網下載mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar包進行安裝：https://dev.mysql.com/downoads/mysql/

特別說明，我開始下載的是最新的mysql-8.0.11但是發現cdh似乎並不相容最新的mysql會報錯，不得不重新安裝mysql-5.7.21。

1、首先刪除系統中存在的mysql相關依賴

使用以下查詢系統是否有相關依賴

rpm -qa | grep mariadb-libs

rpm -qa | grep  mysql

使用以下相關命令刪除相關依賴

rpm -e mariadb-libs-1:5.5.56-2.el7.x86_64 --nodeps

2、解壓mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar，裡邊有多個rpm包，直接依次安裝，具體如下

rpm -ivh mysql-community-common-5.7.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-devel-5.7.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.21-1.el7.x86_64.rpm

rpm -ivh mysql-community-server-5.7.21-1.el7.x86_64.rpm

3、啟動服務修改密碼

1）啟動服務

2)service mysqld start

3）查詢初始密碼

cat /var/log/mysqld.log |grep "passw"

如果無法查詢到密碼，也可以使用以下方式修改初始密碼：

vim /etc/my.cnf

接下來加入一句程式碼即可空密碼登入mysql：

# Disabling symbolic-links is recommended to prevent assorted security risks
skip-grant-tables     #新增這句話，這時候登入mysql就不需要密碼
symbolic-links=0

service mysqld restart

4）修改密碼和設定遠端登入

set global validate_password_policy=0;//修改密碼安全策略

set global validate_password_length=1;//修改密碼長度限制

ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

FLUSH PRIVILEGES;

建立後續cdh manager可能會使用到的資料庫，具體需要建立哪些和你選擇安裝的元件有關

#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#Oozie
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#hue

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

二、正式開始叢集的安裝

1、下載相關包

manifest.json（該檔案是叢集版本驗證檔案，要和叢集的實際版本一致）

CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel

CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 

從http://archive.cloudera.com/cm5/cm/5下載cdh manager

cloudera-manager-centos7-cm5.14.2_x86_64.tar.gz

2、安裝

首先確定一個安裝的主節點，將上述包都傳到該節點下。

1）.首先將cloudera-manager-centos7-cm5.14.2_x86_64.tar.gz移動到/opt目錄下，解壓會得到cloudera 和cm-5.14.2 兩個目錄。

2）.在主節點初始化CM5的資料庫

 sudo /opt/cm-5.14.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

3）.修改/opt/cm-5.14.2/etc/cloudera-scm-agent/config.ini中的server_host為主節點的主機名

4）.上傳mysql-connector-java-8.0.11.jar （從官網上驅動該驅動向前相容，所以最新的驅動包也是可以用的）MySQL的驅動包到 /opt/cm-5.14.2/share/cmf/lib

後續初始化啟動hive和oozie的時候發現會報錯，排查之後發現是缺少mysql驅動，解決方式是：

cp /opt/cm-5.14.2/share/cmf/lib/mysql-connector-java-8.0.11.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hive/lib
cp /opt/cm-5.14.2/share/cmf/lib/mysql-connector-java-8.0.11.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/oozie/lib
cp /opt/cm-5.14.2/share/cmf/lib/mysql-connector-java-8.0.11.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/oozie/libserver

cp /opt/cm-5.14.2/share/cmf/lib/mysql-connector-java-8.0.11.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/oozie/libtools

所以如果不怕多餘，可以提前將mysql驅動jar包複製到相關目錄下，該操作非必須

5）.分發包

1>將/opc/cm-5.14.2目錄打包分發到所有子節點上的/opt目錄下

2>將從官網下載的CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel，CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1和manifest.json移動到/opt/cloudera/parcel-repo目錄下

6）.在所有節點建立cloudera-scm使用者

sudo useradd --system --home=/opt/cm-5.14.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

7）.啟動cdh manager

在主節點啟動cloudera-scm-server:

/opt/cm-5.14.2/etc/init.d/cloudera-scm-server start

在所有節點啟動cloudera-scm-agent 

/opt/cm-5.14.2/etc/init.d/cloudera-scm-agent start

該步驟可能會出現以下問題：

1、無法請求manifest.json

java.util.concurrent.ExecutionException:java.net.ConnectException:Connectionrefused to https://archive.cloudera.com/cdh5/parcels/5.14/manifest.json

        at com.ning.http.client.providers.netty.NettyResponseFuture.abort(NettyResponseFuture.java:297)
        at com.ning.http.client.providers.netty.NettyConnectListener.operationComplete(NettyConnectListener.java:104)
        at org.jboss.netty.channel.DefaultChannelFuture.notifyListener(DefaultChannelFuture.java:399)

        at org.jboss.netty.channel.DefaultChannelFuture.notifyListeners(DefaultChannelFuture.java:390)

該問題是因為我們的叢集處於和外網隔絕的情況下，無法訪問外網的該驗證檔案。我們可以在本地模擬該網址。

1） httpd安裝 

yum install httpd 
2） 啟動httpd服務 
service httpd start 
chkconfig httpd on 
3） 配置manifest.json的路徑 
為/var/www/html授權 
chmod 775 /var/www/html/ 
在/var/www/html/下建立cdh5/parcels/5.14/ 
cd /var/www/html 
mkdir -p cdh5/parcels/5.14/ 
cd cdh5/parcels/5.14/ 
ln /opt/cloudera/parcel-repo/manifest.json manifest.json 
4）修改/etc/hosts檔案 
echo “127.0.0.1 archive.cloudera.com” >>/etc/hosts 
配置完後測試一下 
curl archive.cloudera.com/cdh5/parcels/5.14/manifest.json 

如果打印出manifest.json檔案的內容，那就是配置好了，就可以重啟CDH了

2、jdk一直報錯，無法查詢jdk的位置。

為了解決該問題我做了以下嘗試

1）/opt/cm-5.14.2/etc/default/cloudera-scm-server中追加JAVA_HOME

2）在環境變數中追加JAVA_HOME並設定PAHT

3）如果該問題還無法解決，我當時將jdk移動到cdh manager查詢的預設路徑/usr/java/jdk1.8.0_171

3、一些莫名其妙的許可權問題，可能需要手動建立以下目錄

mkdir -p /var/log/cloudera-scm-headlamp
mkdir -p /var/log/cloudera-scm-firehose
mkdir -p /var/log/cloudera-scm-alertpublisher
mkdir -p /var/log/cloudera-scm-eventserver
mkdir -p /var/lib/cloudera-scm-headlamp
mkdir -p /var/lib/cloudera-scm-firehose
mkdir -p /var/lib/cloudera-scm-alertpublisher
mkdir -p /var/lib/cloudera-scm-eventserver
mkdir -p /var/lib/cloudera-scm-server
mkdir -p /var/lib/cloudera-host-monitor
mkdir -p /var/lib/cloudera-service-monitor
mkdir -p /var/log/hive

chown -R cloudera-scm:cloudera-scm /var/log/cloudera-scm-headlamp
chown -R cloudera-scm:cloudera-scm /var/log/cloudera-scm-firehose
chown -R cloudera-scm:cloudera-scm /var/log/cloudera-scm-alertpublisher
chown -R cloudera-scm:cloudera-scm /var/log/cloudera-scm-eventserver
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-headlamp
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-firehose
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-alertpublisher
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-eventserver
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-host-monitor

chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-service-monitor

如果經歷以上步驟之後cdh manager正常啟動，則可以訪問http://主機IP:7180/cmf/home對叢集元件進行配置和啟動

參考文章：

CentOS7離線安裝MySQL：https://www.cnblogs.com/Orange42/p/8432185.html

離線安裝Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程：https://www.cnblogs.com/jasondan/p/4011153.html