CDH 簡易版離線安裝

一、虛擬機器搭建

準備一臺32G記憶體的電腦，安裝虛擬機器VMware-workstation。虛擬機器下載地址：http://download3.vmware.com/software/wkst/file/VMware-Workstation-Full-14.1.2-8497320.x86_64.bundle。根據自己的電腦系統下載不同的版本，我下載的是VMware-Workstation-Full-14.1.2-8497320.x86_64.bundle。安裝完虛擬機器後，下載作業系統映象CentOS-7-x86_64-DVD-1804.iso（這是我選擇的版本，你們可以選擇不同的版本），建立一個新的虛擬機器，至於虛擬機器如何建立請自行解決。

經過上面的一系列的操作，目前擁有三臺虛擬機器

master  記憶體 16G 磁碟 150G  

slave1   記憶體   6G 磁碟 150G

slave2   記憶體    6G 磁碟 150G

二、虛擬機器配置

1.修改所有的主機名，這樣便於管理。

hostnamectl set-hostname master
hostnamectl set-hostname slave1
hostnamectl set-hostname slave2

2.配置靜態IP

首先，選擇NAT網路連線模式

 然後，點選Edit編輯虛擬機器網路設定，進入VMware network edit ,選中vmnet8 ,將Use local DHCP service to distribute IP addresses to VMs 前面的勾去掉。

接著，進入 /etc/sysconfig/network-scripts中檢視現有的配置檔案然後修改其中的配置檔案，其中有個類似ifcfg-enth0的檔案是你的網路名字

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=$'\751\605\615\747\675\656 1'
UUID=2bfdf6df-9fd6-44e3-ade7-5a397cf8d2e4
ONBOOT=yes

上面主要修改紅色字型部分，其中BOOTPROTO=static 表示靜態，IPADDR=172.16.247.135 表示靜態IP地址

最後，儲存退出，執行

重啟網路
service network restart
檢視IP
ifconfig
ping網路
ping www.baidu.com

3.編輯hosts 檔案 新增ip地址

vi /etc/hosts

 新增以下配置，你對應的三臺機器的IP地址和對應的主機名

172.16.247.135 master
172.16.247.132 slave1
172.16.247.136 slave2

然後將這個檔案分別拷貝到各個節點上

scp /etc/hosts [email protected]:/etc/hosts
scp /etc/hosts [email protected]:/etc/hosts

4.配置SSH免密登陸

主要分為兩個步驟：首先在所有的節點生成公鑰

ssh-keygen -t rsa

然後將所有的節點執行拷貝公鑰

ssh-copy-id [email protected]
ssh-copy-id [email protected]
ssh-copy-id [email protected]

5.關閉selinux和防火牆

vi /etc/selinux/config

SELINUX=disabled

[[email protected] network-scripts]$ cat /etc/selinux/config

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three two values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected.
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

 關閉防火牆和檢視防火牆狀態：

systemctl stop firewalld  
systemctl disable firewalld
systemctl status firewalld

6.安裝NTP時間同步

yum install  -y ntp     #安裝ntp服務（所有節點）

vi /etc/ntp.conf          #編輯ntp服務的配置檔案（所有節點）

主節點master的ntp.conf修改紅色部分，藍色要註釋掉

# Note: Monitoring will not be disabled with the limited restriction flag.
#disable monitor
restrict default nomodify
restrict default nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
# 中國這邊最活躍的時間伺服器 : http://www.pool.ntp.org/zone/cn
server 0.cn.pool.ntp.org
server 0.asia.pool.ntp.org
server 3.asia.pool.ntp.org

# allow update time by the upper server
# 允許上層時間伺服器主動修改本機時間
restrict 0.cn.pool.ntp.org nomodify notrap noquery
restrict 0.asia.pool.ntp.org nomodify notrap noquery
restrict 3.asia.pool.ntp.org nomodify notrap noquery

# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available.
# 外部時間伺服器不可用時，以本地時間作為時間服務

 從節點slave的ntp.conf修改紅色部分，紫色要註釋掉

# with symmetric key cryptography.
keys /etc/ntp/keys

# Specify the key identifiers which are trusted.
#trustedkey 4 8 42

# Specify the key identifier to use with the ntpdc utility.
#requestkey 8

# Specify the key identifier to use with the ntpq utility.
#controlkey 8

# Enable writing of statistics records.
#statistics clockstats cryptostats loopstats peerstats

# Disable the monitoring facility to prevent amplification attacks using ntpdc
# monlist command when default restrict does not include the noquery flag. See
# CVE-2013-5211 for more details.
# Note: Monitoring will not be disabled with the limited restriction flag.
#disable monitor
server master prefer     #master 是指你的主機名
restrict default nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery

設定開機啟動ntp服務

#關閉chronyd服務
systemctl disable chronyd.service
#開機自啟動
 systemctl enable ntpd.service

以上都配置完成後，執行

systemctl start ntpd    #開啟ntp服務

ntpstat                         #檢視ntp執行狀態

synchronised to NTP server (172.16.247.135) at stratum 3
   time correct to within 350 ms
   polling server every 1024 s         #出現這個表示成功同步

7.解除安裝Centos 系統自帶的JDK

rpm -qa | grep jdk  #檢視系統自帶的jdk

yum -y remove   xxjdk   #刪除所有的jdk

8.CM 和CDH下載以及JDK和java驅動

9.安裝CM和jdk以及mysql驅動

將下載好的安裝包分發到各個節點上，並解壓縮。

1.將和cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm以及cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm三個安裝包傳入管理節點（master節點）/tmp 目錄下，當然其他目錄也可以。但是tmp目錄可以使得解壓後的rpm包重啟後刪除不佔記憶體。

2.將cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm和cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm兩個安裝包傳入所有從節點上（slave1和slave2節點）的/tmp目錄下

3.將jdk-8u172-linux-x64.rpm安裝包傳入所有節點上/tmp目錄,複製語句類似下面：

scp cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm [email protected]:/tmp

4.然後解壓所有對應的安裝包（所有節點）

yum localinstall *.rpm

5.配置JAVA_HOME變數（所有節點）

echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

6.安裝mysql驅動程式

將mysql-connector-java-5.1.46.tar.gz解壓mysql-connector-java-5.1.46後將解壓後包中的mysql-connector-java-5.1.46-bin.jar重新命名為mysql-connector-java.jar傳入 /usr/share/java目錄裡面。

tar mysql-connector-java-5.1.46.tar.gz
sudo mkdir -p /usr/share/java
cd mysql-connector-java-5.1.46
sudo cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

10.資料庫安裝

sudo yum install mariadb-server  #安裝maridb
sudo systemctl enable mariadb    #設定開機啟動
sudo systemctl start mariadb     #啟動mariadb
sudo /usr/bin/mysql_secure_installation  #配置mariadb

2.為CDH建立資料庫和使用者

mysql -u root -p 

輸入密碼登陸mysql ，然後建立多個數據庫，並完成授權。

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
 
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
 
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
 
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';
 
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
 
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman';
 
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
 
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue';
 
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
 
GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';
 
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
 
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry';
 
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
 
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';

最後，退出資料庫進行資料庫的初始化，執行語句類似下面。

exit #退出資料庫
/user/share/cmf/schema/scm_prepare_database.sh (databaseType) (databaseName) (databaseuser) (databasepassword)

例如scm資料庫： /usr/share/cmf/schema/scm_prepare_database.sh mysql scm scm scm

11.安裝CDH

1.在master節點建立parcel-repo倉庫

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

2.將CDH安裝包複製到/opt/cloudera/parcel-repo 目錄下。

• CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

• CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1

• manifest.json

然後將CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 重新命名CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha

3.修改slave1和slave2的/etc/cloudera-scm-agent/config.ini

將server_host改為管理節點的網路名本例為master

4.分別啟動cloudera-scm-server和cloudera-scm-agent

在主節點啟動agent和server執行以下命令

systemctl start cloudera-scm-agent

systemctl start cloudera-scm-server

在slave1和slave2執行以下程式碼

systemctl start cloudera-scm-agent

5.進入http://master:7180,預設的使用者名稱和密碼均為admin開始新增叢集，下面是一種新增服務的順序。

hdfs-> yarn-> hive-> impala-> zookeeper-> hbase-> oozie-> hue->sqoop->kafka->spark

 12.總結

安裝過程主要遇到的坑：

1.靜態IP的配置

2.時間同步ntp服務

3.安裝服務的對應資料夾的許可權問題。主要就是檢視日誌更改對應檔案的許可權：

chmod 777 xxx
chown root XXX

4.kafka安裝

在安裝介面點選主機

點選parcel

點選KAFKA分配，並激活

然後新增kafka服務，並再配置的設定如下的引數：

 kafak mirrormaker：

Destination Broker list slave1:9092

source list slave1:9092

topical whitelist slave1:9092

kafak Broker

Advertiesd Host   slave1

java heap size of broker 256