一、環境準備

在使用ambari搭建hadoop叢集之前需要準備一些環境。本文使用三臺機器搭建hadoop叢集。IP分別為：

ubuntu 的 IP :192.168.127.138

hadoop1 的 IP： 192.168.127.135

hadoop2 的 IP：192.168.127.134

1.三臺機器之間相互註冊IP並且需要配置全域名

開啟ubuntu的host檔案配內容如下：

$ vim /etc/hosts

#127.0.0.1  localhost
#127.0.1.1  ubuntu

# The following lines are desirable for IPv6 capable hosts
 

#::1     ip6-localhost ip6-loopback
#fe00::0 ip6-localnet
#ff00::0 ip6-mcastprefix
#ff02::1 ip6-allnodes
#ff02::2 ip6-allrouters
192.168.127.138 ubuntu.test.com ubuntu
#192.168.127.139  agent.test.com    agent
192.168.127.134 hadoop2.test.com hadoop2
192.168.127.135 hadoop1.test.com hadoop1

把次hosts檔案複製到其他兩臺機器上。

2.安裝ntp服務

需要在每臺主機上安裝ntp協議。這時一種用於在多臺主機之間進行時間同步的協議。在每臺主機上使用以下命令即可。

$ sudo apt-get install ntp
$ service ntp start

3.安裝jdk

此處就不在贅述jdk的安裝了可以看我前一篇文章ubuntu14.04安裝ambari中jdk的安裝配置

4.安裝ssh服務並開啟遠端登入到root賬戶功能

安裝ssh服務使機器可以遠端使用ssh登入。

$ sudo apt-get install openssh-server 

安裝完成後配置ssh的配置檔案/etc/ssh/sshd_config使遠端ssh登入時可以使用root賬戶登入.
註釋PermitRootLogin without-password後新增PermitRootLogin yes。

# sudo vim /etc/ssh/sshd_config

# Authentication:
LoginGraceTime 120
#PermitRootLogin without-password
PermitRootLogin yes
StrictModes yes

5.配置ssh免密碼登入

在ambari-server機器ubuntu上使用root使用者在根目錄執行以下命令：

# ssh-keygen -t rsa 
# cd .ssh
# cat id_rsa.pub >>authorized_keys
# scp authorized_keys [email protected]:/root/.ssh
# 輸入密碼
# scp authorized_keys [email protected]:/root/.ssh
# 輸入密碼

在ubuntu機器上驗證是否可以免密碼登入到機器hadoop1和機器hadoop2上

# ssh  hadoop2
# ssh  hadoop1

二、使用ambari搭建hadoop叢集

1.啟動ambari-server服務

執行ambari-server start命令啟動ambari服務並在瀏覽器中輸入

http://192.168.127.138:8080
或者
http://ubuntu:8080

出現如下介面：

登入之後出現hadoop搭建介面：

2.Get Started.填入叢集的名稱

3.Select Stack.選擇要安裝的版本，這裡我選擇了HDP2.4

4.Confirm Hosts.選擇要安裝hadoop叢集的叢集

我在這步卡了好久，在這裡有一點需要注意target hosts必須填入FQDN即形如：xxx.xxx.com的形式，而並不是簡單的hostname。
可以通過hostname和hostname -f來驗證域名是否一樣。
(PS:第一次這一步的時候這樣配置沒有任何問題。第二次的時候出現了ambari-server的/var/log/ambari-server/ambari-server.log中出現找不到hostname的錯誤，我也不知道為什麼，我在網上搜索了很多都說是中文版本的問題，應該安裝英文版本的。但是我後來調了調hosts檔案就好使了感覺很莫名其妙。)

5.Confirm Hosts.等待在每一臺hadoop叢集機器上安裝ambari-agent

(PS:這圖是盜別人的結果和我的一樣知識前面配置的域名不一樣。忘了截圖了)

6.Choose Services.選擇要安裝的服務。這裡我只選擇了HDFS 和YARN這兩個。可以根據自己的實際情況安裝服務。

7.Assign Masters各個服務master配置，這裡我選擇了預設配置

8.Assign Slaves and Clients服務的Slaves和Clients節點配置

9.Customize Services服務的客製化配置（會提示必須配置的選項）

10.Review.顯示配置資訊

11.開始安裝各種服務（真正的坑才剛剛開始）

安裝過程報的錯誤

(1)錯誤1

Ambari agent process is not heartbeating on the host

ambari-agent沒有執行，我在hadoop1和hadoop2上啟動了之後還是報同樣的錯誤。開啟/var/log/ambari-agent/ambari-agent.log發現報ascii codec can’t decode byte 0xe8 in position 0:ordinal not in range(128)這個錯誤。

Solution：找到param.py檔案在其中加入

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

然後重新啟動

(2) 錯誤2

 Execution of '/usr/bin/apt-get -q -o Dpkg::Options::=--force-confdef --allow-unauthenticated --assume-yes install 'hadoop-2-4-.*-client'' returned 100. E: dpkg was interrupted, you must manually run 'dpkg --configure -a' to correct the problem.

Solution：

dpkg --configure -a

(3)錯誤3

Traceback (most recent call last):
  File "/var/lib/ambari-agent/cache/stacks/HDP/2.0.6/hooks/before-START/scripts/hook.py", line 39, in <module>
    BeforeStartHook().execute()
  File "/usr/lib/python2.6/site-packages/resource_management/libraries/script/script.py", line 219, in execute
    method(env)
  File "/var/lib/ambari-agent/cache/stacks/HDP/2.0.6/hooks/before-START/scripts/hook.py", line 28, in hook
    import params
  File "/var/lib/ambari-agent/cache/stacks/HDP/2.0.6/hooks/before-START/scripts/params.py", line 158, in <module>
    ambari_db_rca_password = config['hostLevelParams']['ambari_db_rca_password'][0]
TypeError: 'int' object has no attribute '__getitem__'

Solution:找到/var/lib/ambari-agent/cache/stacks/HDP/2.0.6/hooks/before-START/scripts/params.py這個檔案把155行到158行換成如下程式碼

ambari_db_rca_url = config['hostLevelParams']['ambari_db_rca_url']
ambari_db_rca_driver = config['hostLevelParams']['ambari_db_rca_driver']
ambari_db_rca_username = config['hostLevelParams']['ambari_db_rca_username']
ambari_db_rca_password = config['hostLevelParams']['ambari_db_rca_password']

(4)錯誤4

resource_management.core.exceptions.Fail: Execution of 'curl -sS -L -w '%{http_code}' -X PUT -T /usr/hdp/2.4.3.0-227/hadoop/mapreduce.tar.gz 'http://hadoop1.test.com:50070/webhdfs/v1/hdp/apps/2.4.3.0-227/mapreduce/mapreduce.tar.gz?op=CREATE&user.name=hdfs&overwrite=True&permission=444'' returned status_code=403. 
{
  "RemoteException": {
    "exception": "IOException", 
    "javaClassName": "java.io.IOException", 
    "message": "Failed to find datanode, suggest to check cluster health."
  }
}

Solution：我使用這條命令/usr/hdp/2.1.2/hadoop-hdfs/bin/hdfs datanode手動啟動hostname節點發現報錯

HttpServer.start() threw a non Bind IOException java.net.BindException: Port in use: localhost:0

於是我在host那麼檔案中添加了如下程式碼：

127.0.0.1 localhost

然後重新啟動就成功了。

錯誤5

resource_management.core.exceptions.Fail: Execution of '/usr/sbin/ambari-metrics-grafana start' returned 1. Starting Ambari Metrics Grafana: .... FAILED

Solution:手動啟動後成功了

至此徹底完成了ambari搭建hadoop叢集~