1. 程式人生 > >大數據之搭建HDP環境,以三個節點為例

大數據之搭建HDP環境,以三個節點為例

com 新的 防火墻 cdh 實驗環境 只需要 包名 connector start

(一)實驗環境
l 實驗介質
?CentOS-7-x86_64-Everything-1708.iso
?jdk-8u144-linux-x64.tar.gz
?ambari-2.6.0.0-centos7.tar.gz
?HDP-2.6.3.0-centos7-rpm.tar.gz
?HDP-UTILS-1.1.0.21-centos7.tar.gz

l 準備三臺CentOS虛擬機,三個節點:一個Cloudera Manager節點、兩個Agent節點
安裝如下:
n HDP21:Server GUI、Development Tools、MariaDB
n HDP22、HDP23:Server GUI、Development Tools

二)安裝配置CentOS(每臺機器)
註意把下面的兩個選項選上
l Server With GUI
l Development Tools
l MariaDB Server(就是MySQL數據庫):註意只在hdp21上安裝
技術分享圖片
l 關閉防火墻
systemctl stop firewalld.service
systemctl disable firewalld.service

l 配置主機名:編輯/etc/hosts文件
l 配置免密碼登錄
l 配置ntp服務
? 創建目錄:mkdir /root/cdroom/
? 掛載光盤:mount /dev/cdrom /root/cdroom/
? 刪除原來的所有repo文件
? 創建yum的源文件: vi /etc/yum.repos.d/my.repo

[centos-yum]
baseurl=file:///root/cdroom
enabled=1
gpgcheck=0
? 開啟NTP服務
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd

?安裝Apache Http服務(只需要在hdp21上安裝)
yum install httpd

?啟動Apache Http服務
systemctl start httpd.service
systemctl enable httpd.service

?驗證Http服務,使用瀏覽器訪問如下網頁:
192.168.164.21

技術分享圖片

(三)安裝JDK(每臺機器)
一定註意,這一步跟之前不一樣!!!
l 卸載系統原有的Java環境
第一步:使用下面的命令查看當前所有的Java環境的安裝包
rpm -qa | grep java
第二步:使用下面的命令刪除所有的Java安裝包
rpm -e --nodeps 包名

l 安裝新的JDK環境
? 將jdk-8u161-linux-x64.rpm上傳到/root/toolsm目錄
? 安裝JDK:rpm -ivh jdk-8u161-linux-x64.rpm
? 執行下面的命令,設置環境變量:
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

l 驗證JDK環境
技術分享圖片!
(四)配置MariaDB(在HDP21上)
l 啟動MariaDB
systemctl start mariadb
systemctl enable mariadb (開機自啟動)

l 配置MariaDB
mysql_secure_installation
#首先是設置密碼,會提示先輸入密碼
Enter current password for root (enter for none):<–初次運行直接回車
#設置密碼
Set root password? [Y/n] <–是否設置root用戶密碼,輸入y並回車或直接回車
New password: <– 設置root用戶的密碼
Re-enter new password: <– 再輸入一次你設置的密碼
#其他配置
Remove anonymous users? [Y/n] <– 是否刪除匿名用戶,回車
Disallow root login remotely? [Y/n] <–是否禁止root遠程登錄,回車,
Remove test database and access to it? [Y/n] <– 是否刪除test數據庫,回車
Reload privilege tables now? [Y/n] <– 是否重新加載權限表,回車

l 初始化MariaDB
登錄數據庫:mysql -uroot -pWelcome_1
(1)安裝完成後創建ambari數據庫及用戶:
create database ambari;
CREATE USER ‘ambari‘@‘%‘IDENTIFIED BY ‘Welcome_1‘;
GRANT ALL PRIVILEGES ON . TO ‘ambari‘@‘%‘;
FLUSH PRIVILEGES;

(2)如果要安裝Hive,再創建Hive數據庫和用戶 再執行下面的語句:
create database hive;
CREATE USER ‘hive‘@‘%‘IDENTIFIED BY ‘Welcome_1‘;
GRANT ALL PRIVILEGES ON . TO ‘hive‘@‘%‘;
FLUSH PRIVILEGES;

(3)如果要安裝Oozie,再創建Oozie數據庫和用戶 再執行下面的語句:
create database oozie;
CREATE USER ‘oozie‘@‘%‘IDENTIFIED BY ‘Welcome_1‘;
GRANT ALL PRIVILEGES ON . TO ‘oozie‘@‘%‘;
FLUSH PRIVILEGES;

l 安裝數據庫驅動
yum install mysql-connector-java
安裝路徑:/usr/share/java/mysql-connector-java.jar
(五)安裝配置Clouder Manager(在cdh71上)
五)配置Ambari本地源(在hdp21上)
?一定註意:解壓後,需要刪除目錄下所有的html文件。
?在httpd網站根目錄,默認是即/var/www/html/,創建目錄ambari
mkdir /var/www/html/ambari

?將ambari-2.6.0.0-centos7.tar.gz和HDP-2.6.3.0-centos7-rpm.tar.gz解壓到該目錄
tar -zxvf ambari-2.6.0.0-centos7.tar.gz -C /var/www/html/ambari
tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz -C /var/www/html/ambari

?將HDP-UTILS-1.1.0.21-centos7.tar.gz解壓到/var/www/html/ambari/HDP-UTILS/
mkdir /var/www/html/ambari/HDP-UTILS/
tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/ambari/HDP-UTILS/

?配置ambari、HDP、HDP-UTILS的本地源
?修改ambari.repo文件
#VERSION_NUMBER=2.6.0.0-267
[ambari-2.6.0.0]
name=ambari Version - ambari-2.6.0.0
baseurl=http://192.168.56.71/ambari/ambari/centos7/2.6.0.0-267
gpgcheck=1
gpgkey=http://192.168.56.71/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

?修改hdp.repo文件
#VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://192.168.164.21/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=1
gpgkey=http://192.168.164.21/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.21]
name=HDP Utils Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.164.21/ambari/HDP-UTILS
gpgcheck=1
gpgkey=http://192.168.164.21/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

?將ambari.repo和hdp.repo拷貝到/etc/yum.repos.d/目錄下

((六)安裝Ambari
?安裝Ambari Server:yum install ambari-server
?配置Ambari Server:ambari-server setup

?將Ambari數據庫腳本導入到數據庫
mysql -uambari -pWelcome_1
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

?啟動Ambari Server
ambari-server start
訪問Ambari Server的Web Console:http://192.168.164.21:8080/#/login
技術分享圖片

技術分享圖片

                            用戶名密碼:admin/admin

                                                            (未完待續)

大數據之搭建HDP環境,以三個節點為例