1. 程式人生 > >Amabri 2.1安裝HDP2.3.2 之 二、需求配置說明

Amabri 2.1安裝HDP2.3.2 之 二、需求配置說明

二、需求配置說明

Ambari 安裝hortonworks相應ambari版本可以支援的hdp版本如下:
這裡寫圖片描述
圖2.0

我們選擇的是ambari2.1.2,hdp是2.3.2.0
此時我們準備好一臺純淨虛擬機器作為master機,完整克隆出兩臺slave機。
注意:通過ambari安裝hdp,並不能安裝hue。我們想要安Hue,所以需要手動安裝。而hue不支援centos7下的hdp2.3.x,所以我們選擇centos6而非centos7。手動安裝hue,在文件後邊有寫到。

(一)本叢集的基本配置

1.作業系統

• CentOS v6.x
我們選擇在VMware workstation裡執行三臺虛擬機器。一臺作為master host,兩臺slave host。

2.支援的瀏覽器

• Firefox 最新穩定版
• Google Chrome 最新穩定版

3.基本軟體需求 On each of your hosts

a)yum and rpm (RHEL/CentOS/Oracle Linux)
b)scp, curl, unzip, tar, and wget
c)OpenSSL (v1.01, build 16 or later)
d)python v2.6
以上預設的Linux系統應該都已經安裝了,可以檢視一下是否安裝。

4.JDK環境需求

• Oracle JDK 1.8 64-bit (minimum JDK 1.8_40) ,我們的叢集是 JDK1.8.0_60,在
三臺虛擬機器上的同樣目錄下安裝jdk1.8.0_60.

5.資料庫需求

Ambari、hive、Oozie支援
- PostgreSQL 8
- PostgreSQL 9.1.13+,9.3
- MySQL 5.6
- Oracle 11gr2, 12c
ambari預設會在安裝ambari server 的機器上安PostgreSQL,而本叢集選取的是MySQL5.6。關於使用非預設資料庫,在後面文件中會有詳細步驟。
在這步我們先安裝mysql,所以安裝ambari、hive時要指定已經安裝的mysql資料庫。

6.記憶體需求

a)安裝 ambari-server 的機器至少應該有1GB RAM,500M可用。
# free -m


檢視剩餘記憶體。
b)在叢集中我們選擇安裝Ambari Metrics Service (AMS) 來收集各個服務、元件的記憶體等資訊,可以參考Ambari Reference Guide裡的 Tuning Ambari Metrics這一部分。打算執行Amabri Metrics Collector 的機器應該符合下圖的要求:
這裡寫圖片描述
圖2.1.1

本叢集裡的三臺虛擬機器建立時分配記憶體分別是9G\6G\6G。

7.檢查 the Maximum Open File Descriptors

在每臺機器上執行下列語句:

ulimit -Sn
ulimit -Hn

如果輸出小於10000,那麼通過下列語句調整最大開啟的檔案數。

ulimit -n 10000

(二)收集資訊

1.一個叢集,至少需要三臺虛擬機器,一個作為master host,兩個slave host

2.瞭解HDP元件的部署

這裡寫圖片描述
圖2.2.1

3.規劃我們需要安裝的元件

這裡寫圖片描述
這些在安好ambari後,部署叢集過程中按此表來選擇哪個元件安在哪臺機器上。
這些元件是本叢集中決定安裝的元件。

(三)準備環境

本叢集包括三臺機器,記憶體分配為9G\6G\6G,一臺master,兩臺slave。master和slave 機器分配的IP地址分別為:
master IP:192.168.12.21
slave1 IP:192.168.12.22
slave2 IP:192.168.12.23
閘道器:192.168.12.254
DNS:202.199.160.206