Ambari2.6.2 安裝HDP2.6.5（非root使用者離線安裝）
一、下載安裝包
因為使用線上安裝特別慢，所有的安裝包加起來有9個G左右，所以本教程是通過下載包，然後上傳到伺服器，通過配置本地源的方式來實現的離線安裝。也可以事先直接在伺服器上下載好相應的包，如下：
nohup wget -c http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari.repo \
http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/HDP-GPL-2.6.5.0-centos7-gpl.tar.gz \
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos7-rpm.tar.gz \
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari-2.6.2.0-centos7.tar.gz \
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz \
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/hdp.repo \
http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/hdp.gpl.repo &
特別提示：
安裝之前系統同時需要安裝如下幾個軟體，如果能連線外網可以使用yum命令安裝(也可以用安裝包離線安裝)：
yum install -y nc libtirpc-devel python-devel rpcbind postgresql96-server postgresql96-contrib
二、系統環境配置
1、安裝jdk（所有機器）
一般linux自帶的jdk或者是通過yum安裝的jdk都是openjdk,但是最好是使用oracle/sun jdk,前者是開源的，缺失部分功能，後者是官方的。但是如果直接安裝oracle的jdk，第三方的依賴包不會安裝，所以最有效的額方式是通過yum安裝openjdk，並同時安裝了第三方依賴包，然後解除安裝openjdk，通過自己來安裝oracle的jdk，就能解決依賴問題。
2、修改本機名（所有機器）
通過vi /etc/hostname 進行修改
各個節點修改成相應的名稱，分別為master,slave1.slave2.slave3,例
master然後重啟電腦
3、修改/etc/hosts檔案（所有機器）
這裡主要是為了可以實現通過名稱來查詢相應的伺服器
[[email protected] ~]# vi /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.12.101 master 192.168.12.102 slave1 192.168.12.103 slave2 192.168.12.104 slave3
4、修改/etc/sysconfig/network（所有機器）
[[email protected] ~]# vi /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes接下來就可以通過測試一下是否可以通過ping主機名來找到對應的伺服器
[[email protected] ~]# ping slave1
PING slave1 (192.168.12.102) 56(84) bytes of data.
64 bytes from slave1 (192.168.12.102): icmp_seq=1 ttl=63 time=0.134 ms
64 bytes from slave1 (192.168.12.102): icmp_seq=2 ttl=63 time=0.132 ms
64 bytes from slave1 (192.168.12.102): icmp_seq=3 ttl=63 time=0.133 ms
64 bytes from slave1 (192.168.12.102): icmp_seq=4 ttl=63 time=0.133 ms
64 bytes from slave1 (192.168.12.102): icmp_seq=5 ttl=63 time=0.132 ms
^C
--- slave1 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4000ms
rtt min/avg/max/mdev = 0.132/0.132/0.134/0.014 ms
5、修改檔案開啟限制（所有機器）
[[email protected] ~]# vi /etc/security/limits.conf
# End of file
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
6、關閉防火牆（所有機器）
[[email protected]~]#systemctl disable firewalld
[[email protected]~]#systemctl stop firewalld除此之外
[[email protected] ~]# cat /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
7、同步時鐘
（1）安裝ntp服務（所有機器）
[[email protected] ~]#yum -y install ntp（2）設定master為主伺服器，開啟nptd服務(主伺服器)
[[email protected] ~]#vi /etc/ntp.conf如圖：
[[email protected] ~]# systemctl start ntpd.service #啟動服務
[[email protected] ~]# systemctl enable ntpd.service #開機自啟動(3)、子節點設定同步（子節點）
主伺服器開啟ntp伺服器以後，子節點就不需要開啟了，因為當server與client之間的時間誤差過大時（可能是1000秒），處於對修改時間可能對系統和應用帶來不可預知的問題，NTP將停止時間同步！所以如果發現NTP啟動之後時間並不進行同步時，應該考慮到可能是時間差過大引起的，此時需要先手動進行時間同步！所以直接使用定時手動同步的方式就可以了。
[[email protected] data]# crontab -e
0-59/10 * * * * /usr/sbin/ntpdate master
crontab: installing new crontab
[[email protected] data]# crontab -l
0-59/10 * * * * /usr/sbin/ntpdate master8、SSH無密碼登陸（主節點）
由於所給機器沒有許可權切換到root使用者環境，這裡單獨建立非root使用者-hadoop進行操作，該使用者需要擁有sudo免密執行的許可權，具體設定在/etc/sudoers檔案中增加如下行：
hadoop ALL=(ALL) NOPASSWD:ALL
三、修改yum源，實現離線安裝
1、安裝httpd服務（主伺服器）
[[email protected] ~]# yum -y install httpd
[[email protected] ~]# service httpd restart
Redirecting to /bin/systemctl restart httpd.service
[[email protected] ~]# chkconfig httpd on2、將上面下載的三個包放到/var/www/html目錄下（主伺服器）
[[email protected] ~]# cd /var/www/html/
[[email protected] html]# mkdir ambari
拷貝檔案到ambari下面
[[email protected] html]# cd ambari/
[[email protected] ambari]# ls
ambari-2.6.0.0-centos7.tar.gz HDP-2.6.3.0-centos7-rpm.tar.gz HDP-UTILS-1.1.0.21-centos7.tar.gz
[[email protected] ambari]# tar -zxvf ambari-2.6.0.0-centos7.tar.gz
[[email protected] ambari]# tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz
[[email protected] ambari]# mkdir HDP-UTILS
[[email protected] ambari]# tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C HDP-UTILS
[[email protected] ambari]# rm -rf ambari-2.6.0.0-centos7.tar.gz HDP-2.6.3.0-centos7-rpm.tar.gz HDP-UTILS-1.1.0.21-centos7.tar.gz
[[email protected] ambari]# ls
ambari HDP HDP-UTILS
現在可以通過訪問http://192.168.12.101/ambari/檢視是否能成功訪問
3、製作本地源
（1）安裝本地源製作相關工具（主伺服器）
[[email protected] ambari]# yum install yum-utils createrepo yum-plugin-priorities -y
[[email protected] ambari]# createrepo ./（2）修改檔案裡面的源地址（主伺服器）
建立Ambari、HDP、HDP-UTIL資原始檔：
-
ambari.repo
#ERSION_NUMBER=2.6.2.0-155 [ambari-2.6.2.0] name=ambari Version - ambari-2.6.2.0 baseurl=http://192.168.55.39/ambari/centos7/2.6.2.0-155 gpgcheck=1 gpgkey=http://192.168.55.39/ambari/centos7/2.6.2.0-155/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 -
hdp.repo
#VERSION_NUMBER=2.6.5.0-292 [HDP-2.6.5.0] name=HDP Version - HDP-2.6.5.0 baseurl=http://192.168.55.39/HDP/centos7/2.6.5.0-292 gpgcheck=1 gpgkey=http://192.168.55.39/HDP/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 [HDP-UTILS-1.1.0.22] name=HDP-UTILS Version - HDP-UTILS-1.1.0.22 baseurl=http://192.168.55.39/HDP-UTILS/centos7/1.1.0.22 gpgcheck=1 gpgkey=http://192.168.55.39/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 -
hdp.gpl.repo
#VERSION_NUMBER=2.6.5.0-292 [HDP-GPL-2.6.5.0] name=HDP-GPL Version - HDP-GPL-2.6.5.0 baseurl=http://192.168.55.39/HDP-GPL/centos7/2.6.5.0-292 gpgcheck=0 gpgkey=http://192.168.55.39/HDP-GPL/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1
上面就建立好了主機上的檔案，然後可以通過下面命令清楚一下yum的快取就可以了
[[email protected] ambari]# yum clean all
[[email protected] ambari]# yum makecache
[[email protected] ambari]# yum repolist特別提醒：如果在不能連線外網的離線環境下，這一步有可能會報錯。如下：
Could not retrieve mirrorlist http://mirrorlist.centos.org/?release=7&arch=x86_64&repo=os&infra=stock error was
14: curl#6 - "Could not resolve host: mirrorlist.centos.org; Unknown error"
需要註釋掉原有的yum原始檔，例如：
mv CentOS-CR.repo CentOS-CR.repo.bak
mv CentOS-fasttrack.repo CentOS-fasttrack.repo.bak
mv CentOS-Sources.repo CentOS-Sources.repo.bak
mv CentOS-Debuginfo.repo CentOS-Debuginfo.repo.bak
mv CentOS-Base.repo CentOS-Base.repo.bak
mv CentOS-Media.repo CentOS-Media.repo.bak
mv CentOS-Vault.repo CentOS-Vault.repo.bak
需要將原有的資料來源註釋掉
（3）將建立好的檔案拷貝到子節點（主伺服器）
[[email protected] ambari]#cd /etc/yum.repos.d
[[email protected] yum.repos.d]# scp ambari.repo slave1:/etc/yum.repos.d/
ambari.repo 100% 274 16.3KB/s 00:00
[[email protected] yum.repos.d]# scp ambari.repo slave2:/etc/yum.repos.d/
ambari.repo 100% 274 115.7KB/s 00:00
[[email protected] yum.repos.d]# scp ambari.repo slave3:/etc/yum.repos.d/
ambari.repo 100% 274 608.9KB/s 00:00
[[email protected] yum.repos.d]# scp hdp.repo slave1:/etc/yum.repos.d/
hdp.repo 100% 482 1.1MB/s 00:00
[[email protected] yum.repos.d]# scp hdp.repo slave2:/etc/yum.repos.d/
hdp.repo 100% 482 969.5KB/s 00:00
[[email protected] yum.repos.d]# scp hdp.repo slave3:/etc/yum.repos.d/
hdp.repo
四、安裝ambari-server
經過不斷的安裝，有兩種模式，一種是預設postgresql資料庫的安裝方式，這種不推薦生產環境使用，還有一種方式是使用第三方資料庫的安裝方式，下面介紹兩種安裝模式，根據個人需求選擇。建議使用自帶的postgresql來配置資料庫，這樣在後面安裝過程中不會出現問題，如果使用其它資料庫，請參考其它教程來設定
1、預設安裝方式，使用預設資料庫PostgreSQL（不推薦生產環境使用）（主伺服器）
（1）、安裝和配置ambari-server
[[email protected] yum.repos.d]# yum -y install ambari-server
[[email protected] yum.repos.d]# ambari-server setup
Using python /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? n
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1): 3
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/java/jdk1.8.0_161
Validating JDK on Ambari Server...done.
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? n
Configuring database...
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take up to a minute.
Initializing database ... OK
About to start PostgreSQL
Configuring local database...
Configuring PostgreSQL...
Restarting PostgreSQL
Creating schema and user...
done.
Creating tables...
done.
Extracting system views...
ambari-admin-2.6.0.0.267.jar
...........
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.
（2）、啟動ambari
[[email protected] ~]# ambari-server start成功啟動後在瀏覽器輸入Ambari地址：
http://192.168.12.101:8080
2、以mysql為資料庫安裝（主伺服器）
（1）安裝mysql資料庫
[[email protected] ~]# wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
[[email protected] ~]# rpm -ivh mysql-community-release-el7-5.noarch.rpm
[[email protected] ~]# yum install mysql-community-serve（2）啟動mysql，設定開機啟動
[[email protected] ~]# service mysqld start
[[email protected] ~]# vi /etc/rc.local
#新增service mysqld start（3）登入進mysql，初始化設定root密碼
[[email protected] ~]# mysql -uroot
設定登入密碼
mysql> set password for 'root'@'localhost' = password('yourPassword');
新增遠端登入使用者
mysql> grant all privileges on *.* to 'root'@'%' identified by 'yourPassword';
遠端登入
#mysql -uroot -h ip(遠端的ip地址) -p
[[email protected] yum.repos.d]# yum -y install ambari-server
（4）登入mysql，執行下面的語句
CREATE DATABASE ambari;
use ambari;
CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';
CREATE USER 'ambari'@'master' IDENTIFIED BY 'ambari';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'master';
FLUSH PRIVILEGES;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
show tables;
use mysql;
select Host User Password from user where user='ambari';
CREATE DATABASE hive;
use hive;
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost';
CREATE USER 'hive'@'master' IDENTIFIED BY 'hive';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'master';
FLUSH PRIVILEGES;
CREATE DATABASE oozie;
use oozie;
CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
CREATE USER 'oozie'@'localhost' IDENTIFIED BY 'oozie';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'localhost';
CREATE USER 'oozie'@'master' IDENTIFIED BY 'oozie';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'master';
FLUSH PRIVILEGES;
（5）簡歷mysql與ambari-server的連線
網上下載mysql-connector-java-5.1.40.jar放到root檔案下
mkdir /usr/share/java
cp /root/mysql-connector-java-5.1.40.jar /usr/share/java/mysql-connector-java.jar
cp /usr/share/java/mysql-connector-java.jar /var/lib/ambari-server/resources/mysql-jdbc-driver.jar
vi /etc/ambari-server/conf/ambari.properties
新增server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar特別提示，在實際安裝中啟動hive和oozie可能還是會報缺失mysql驅動程式，處理方式是將驅動檔案放在：
/home/hdp/2.6.5.0-292/hive2/lib （根據實際路徑設定）
/usr/hdp/current/oozie-server/libext/（根據實際路徑設定）
（6）初始化設定ambari-server並啟動
[[email protected] ~]# ambari-server setup
下面是配置執行流程，按照提示操作
（1） 提示是否自定義設定。輸入：y
Customize user account for ambari-server daemon [y/n] (n)? y
（2）ambari-server 賬號。
Enter user account for ambari-server daemon (root):
如果直接回車就是預設選擇root使用者
如果輸入已經建立的使用者就會顯示：
Enter user account for ambari-server daemon (root):ambari
Adjusting ambari-server permissions and ownership...
（3）檢查防火牆是否關閉
Adjusting ambari-server permissions and ownership...
Checking firewall...
WARNING: iptables is running. Confirm the necessary Ambari ports are accessible. Refer to the Ambari documentation for more details on ports.
OK to continue [y/n] (y)?
直接回車
（4）設定JDK。輸入：3
Checking JDK...
Do you want to change Oracle JDK [y/n] (n)? y
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1): 3
如果上面選擇3自定義JDK,則需要設定JAVA_HOME。輸入：/usr/java/jdk1.8.0_161
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/java/jdk1.8.0_131
Validating JDK on Ambari Server...done.
Completing setup...
（5）資料庫配置。選擇：y
Configuring database...
Enter advanced database configuration [y/n] (n)? y
（6）選擇資料庫型別。輸入：3
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
==============================================================================
Enter choice (3): 3
（7）設定資料庫的具體配置資訊，根據實際情況輸入，如果和括號內相同，則可以直接回車。如果想重新命名，就輸入。
Hostname (localhost):
Port (3306):
Database name (ambari):
Username (ambari):
Enter Database Password (bigdata):ambarizk123
Re-Enter password: ambarizk123
（8）將Ambari資料庫指令碼匯入到資料庫
WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? [[email protected] ~]# ambari-server start
3、錯誤處理
如果出現錯誤，請注意檢視日誌，根據具體的錯誤內容進行處理，預設ambari-server的日誌在/var/log/ambari-server/ambari-server.log裡面。如果在處理日誌的過程中或者後面安裝的過程中出現一些莫名的錯誤，可以重置的安裝。如果上面進行的預設資料庫的配置，可以使用下面的程式碼重置ambari-server
[[email protected] ~]# ambari-server stop
[[email protected] ~]# ambari-server reset
[[email protected] ~]# ambari-server setup如果選擇的是第二種方式，就需要先執行上面的語句，然後手動將mysql裡面建立的資料庫進行刪除。然後再重新執行第二步的操作
[[email protected] ~]# mysql -uroot -p
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| ambari |
| hive |
| oozie |
| performance_schema |
+--------------------+
5 rows in set (0.00 sec)
mysql> drop database ambari;
mysql> drop database hive;
mysql> drop database oozie;
如果在安裝的過程中出現了錯誤，又想重新安裝，可以在ambari-server開啟的情況下，執行下面的語句來移除已安裝的包，然後再通過不同的情況選擇上面兩種方式的一種對ambari-server進行重置
python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent五、安裝配置部署HDP叢集
1、登入
登入介面，預設管理員賬戶登入， 賬戶：admin 密碼：admin
2、安裝嚮導
（1）配置叢集的名字為hadoop
（2）選擇版本並修改為本地源地址
（3）安裝配置
選擇要安裝的伺服器和上傳上面教程所拷貝出來的祕鑰檔案id_rsa。（如果使用非root使用者安裝，使用者名稱填寫指定使用者名稱，並上傳對應的主節點私鑰檔案）
（4）安裝ambari的agent，同時檢查系統問題
如果這裡出了問題，請檢查上面所有的步驟有沒有遺漏和未設定的引數。同時在重新修改了配置以後，最好是重置ambari-server來重新進行安裝
[[email protected] ~]# # ambari-server stop
[[email protected] ~]# # ambari-server reset #重置命令
[[email protected] ~]# # ambari-server setup #重新設定
[[email protected] ~]# # ambari-server start特別提示：這裡可能會出現如下錯誤
ERROR 2018-05-30 00:12:25,280 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)
ERROR 2018-05-30 00:12:25,280 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.
這裡查詢了很多解決方案，主要有如下三種
1）是需要升級openssh版本，實際驗證升級之後並不能解決問題。
2）修改/etc/python/cert-verification.cfg配置檔案，實測也沒有解決問題：
# vim /etc/python/cert-verification.cfg
[https]
verify=disable
3）解決方案 在ambari-agent的配置檔案ambari-agent.ini 在 ［security］增加一項，然後重新啟動ambari-server restart
[security]
force_https_protocol=PROTOCOL_TLSv1_2
（5）選擇要安裝的服務
（6）選擇分配服務
（7）選擇
建議nodemanager、regionserver、client全都勾選上，第一個datanode根據主機的磁碟容量選擇。
