搭建測試環境

本文是公司搭建測試環境大資料平臺時總結的，按安裝相應版本的官方文件的步驟翻譯過來的。其中遇到了一些問題，相應的解決方案也都一一列舉了。按照這個方式一定可以搭建成功。

• 基本資訊：

系統：Ubuntu-14.04.1JDK版本：jdk-8u111SCALA版本：MySQL資料庫：

• 各個伺服器的角色：

172.28.44.120：nn0172.28.44.121：dn0172.28.44.122：dn1一 配置網路環境（三臺機器分別配置）：1 設定靜態ip/etc/network/interfaces配置靜態ip：auto eth0                  #設定自動啟動eth0介面iface eth0 inet static     #配置靜態IPaddress 172.28.44.120      #IP地址netmask 255.255.255.0      #子網掩碼gateway 172.28.44.254        #預設閘道器2 修改DNS/etc/resolvconf/resolv.conf.d/base配置nameservernameserver 172.25.9.10nameserver 172.26.9.103 重啟網路，使配置生效sudo /etc/init.d/networking restart4 用指令碼linux_logon.sh進行聯網認證sh linux_logon.sh需要的username和password是OA系統的使用者名稱和密碼。5 可以ping www.baidu.com驗證是否可以訪問外網。二 配置基礎環境（三臺機器分別配置）：1 配置ssh免密碼登入

• 生成ssh-key

ssh-keygen

• 將namenode的id_rsa.pub新增到datenode的authorized_keys

分別在nn0、dn0、dn1的節點上執行ssh-copy-id -i id_rsa [email protected]

• 測試免密碼登入

2 配置ntp事件同步服務

• 安裝ntp

apt-get install ntp

• 執行ntp服務

update-rc.d ntp defaults3 檢查DNS和NSCD

• 修改hosts檔案，新增一下內容

vim /etc/hosts 172.28.44.120 nn0.bigo.baina172.28.44.121 dn0.bigo.baina172.28.44.122 dn1.bigo.baina

• 設定hostname

vim /etc/hostname` nn0:nn0.bigo.baina dn0:dn0.bigo.baina dn1:dn1.bigo.baina

• 重啟生效

4 關閉防火牆依次執行一下命令sudo ufw disablesudo iptables -Xsudo iptables -t nat -Fsudo iptables -t nat -Xsudo iptables -t mangle -Fsudo iptables -t mangle -Xsudo iptables -P INPUT ACCEPTsudo iptables -P FORWARD ACCEPTsudo iptables -P OUTPUT ACCEPT5 關閉SELINUXsetenforce 06 安裝配置資料庫MySQL 5.6GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;FLUSH PRIVILEGES;

• 修改mysql編碼方式

vim /etc/mysql/my.cnf

• 在[client]下追加 default-character-set = utf8 
• 在[mysqld]下追加 character-set-server=utf8 
• 在[mysql]下追加 default-character-set=utf8 
• 重啟，登入mysql，採用status校驗編碼是否生效

• 預先建立Ambari需要依賴的資料庫，建立相關使用者

(1) 在Ambari Server host安裝connector

• 安裝connector

apt-get install libmysql-java

• 確保mysql-connector-java.jar在/usr/share/java/目錄下
• 確保mysql-connector-java.jar有644的許可權

(2) 為Ambri建立一個使用者，並賦許可權# mysql -u root -pCREATE USER '<AMBARIUSER>'@'%' IDENTIFIED BY '<AMBARIPASSWORD>';GRANT ALL PRIVILEGES ON *.* TO '<AMBARIUSER>'@'%';CREATE USER '<AMBARIUSER>'@'localhost' IDENTIFIED BY '<AMBARIPASSWORD>';GRANT ALL PRIVILEGES ON *.* TO '<AMBARIUSER>'@'localhost';CREATE USER '<AMBARIUSER>'@'<AMBARISERVERFQDN>' IDENTIFIED BY '<AMBARIPASSWORD>';GRANT ALL PRIVILEGES ON *.* TO '<AMBARIUSER>'@'<AMBARISERVERFQDN>';FLUSH PRIVILEGES;* AMBARIUSER是Ambari使用者名稱，AMBARIPASSWORD是Ambari使用者密碼，AMBARISERVERFQDN是Ambari服務主機對應的域名。(3) 載入Ambri資料庫schemamysql -u <AMBARIUSER> -pCREATE DATABASE <AMBARIDATABASE>;USE <AMBARIDATABASE>;SOURCE /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

• 預先建立hive需要依賴的資料庫，建立相關使用者

(1) 在Ambari Server host安裝connector（之前有操作過，可以省略）* 需要執行一下命令初始化JDBC Driver：ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar(2) 建立hive資料庫CREATE DATABASE hive;

• 預先建立oozie需要依賴的資料庫，建立相關使用者

(1) 在Ambari Server host安裝connector（之前有操作過，可以省略）(2) 建立oozie資料庫三 配置本地源（只需要在主節點上配置即可，nn0）1 準備配置本地源

• 建立HTTP伺服器
  • 安裝Apache httpd
  • 啟動httpd
• 在nn0為web伺服器建立目錄
  • mkdir -p /var/www/html/

三 安裝Ambri1 下載，安裝Ambari

• 用root使用者登入

• 下載package
  • wget -nv http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.2.18-1/ambari.list -O /etc/apt/sources.list.d/ambari.list
  • apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
  • apt-get update

• 確認name list裡面的package是否都下載成功，如果下載成功可以看到版本號
  • apt-cache showpkg ambari-server
  • apt-cache showpkg ambari-agent
  • apt-cache showpkg ambari-metrics-assembly

• 安裝Ambari，會預設安裝PostgreSQL Ambari database
  • apt-get install ambari-server

• 執行配置程式。

ambari-server setup

• 如果沒有關閉SELinux，會收到提示，輸入“y”。
• Customize user account for ambari-server daemon，輸入root使用者。
• 如果沒有關閉防火牆，也會收到提示，輸入“y”。
• 選擇下載Oracle JDK 1.8，接收Oracle的協議。
• 選擇“y”，再選擇3:MySQL，使用我們提前安裝好的Mysql資料庫

(1) 輸入Hostname (localhost)。(2) 輸入Port (3306)。(3) 輸入Database name (ambari)。(4) 輸入Username (ambari)。(5) 輸入Database Password (******)。(6) 重複輸入Password。(7) 此時會有一個警告：WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql。(8) 我們已經執行過load過schema，選擇“y”即可安裝成功。3 啟動Ambari Server

• 啟動命令

ambari-server start

• 檢查狀態的命令

ambari-server status

• 停止命令

ambari-server stop* 如果之後需要安裝的hive和oozie需要依賴自己安裝的MySQL資料庫，需要事先建立hive和oozie相關的資料庫，建立使用者，賦許可權。四 安裝、配置、部署HDP叢集1 登入Apache Ambari叢集

• 使用Ambari伺服器的host登入Ambari介面
• 使用者名稱：admin 密碼：admin

2 選擇Lunch Install Wizard
3 給叢集命名4 選擇HDP版本
5 配置hosts和Private Key

• 如果需要程式自動安裝Ambari Angent，選擇Provide your SSH Private Key to automatically register hosts；如果需要手動安裝Ambari Angent，選擇Perform manual registration on hosts and do not use SSH。
• 如果選擇了Provide your SSH Private Key to automatically register hosts，需要新增id_rsa私鑰，或者複製進text輸入框。
• 輸入ssh-key對應的使用者名稱。
• 註冊和確認。

6 確認hosts校驗hosts

7 選擇需要安裝的服務
8 指派Master
9 指派Slaves和clients
10 定製服務
11 預覽

12 安裝、啟動、測試* 由於在預先安裝MySQL資料庫的時候，安裝過mysql-connector-java，和ambari預設的版本有衝突，導致安裝Ooize失敗。錯誤日誌：Preparing to unpack .../mysql-connector-java_5.1.37-2_all.deb ...Unpacking mysql-connector-java (5.1.37-2) ...dpkg: error processing archive /var/cache/apt/archives/mysql-connector-java_5.1.37-2_all.deb (--unpack): trying to overwrite '/usr/share/java/mysql-connector-java.jar', which is also in package libmysql-java 5.1.28-1Errors were encountered while processing: /var/cache/apt/archives/mysql-connector-java_5.1.37-2_all.debE: Sub-process /usr/bin/dpkg returned an error code (1) * 解決方案：手動解除安裝之前安裝的mysql-connector-java即可。apt-get remove libmysql-java


13 完成
14 管理介面
參考連結：https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.0/bk_ambari-installation/content/enable_ntp_on_the_cluster_and_on_the_browser_host.html