1. 程式人生 > >Cloudera Manager and CDH安裝及配置

Cloudera Manager and CDH安裝及配置

Cloudera Manager需求:

磁碟空間,最小滿足:

------------系統/var分割槽下有5GB

------------系統/usr分割槽有500MB

------------系統/opt下面最好多配置點

多數情況下RAM 4GB是比較合適的,如果裝了Oracle資料庫,就是必須的了。沒有Oracle資料庫且節點在100個以下的,也是足夠的。

通常說來,不推薦使用虛擬機器和安裝了雙系統的主機,這種情況通常導致記憶體/硬碟不足,導致主機出現狀態不良。

1、刪除各個主機上自帶的JDK

  查詢安裝的JDK命令

rpm -qa |grep gcj
rpm -qa |grep jdk
rpm -qa |grep
java

刪除安裝的JDK相關的命令,例如:

yum -y remove jdk-1.6.0_31-fcs.x86_64

2、配置各個主機上的/etc/hosts

192.168.1.101   mater
192.168.1.102   slave1
192.168.1.103   slave2

注意:還要在每個主機上配置好主機 ip localhost 這一項

3、設定或者關閉防火牆

設定:如果考慮主機的安全性,僅允許Cloudera Manager 使用的自由埠、SSH 22埠等重要的埠通過。

Coudera Manager及CDH的自由埠如下所示:

複製程式碼
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22
-j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT # free ports for Kerberos -A INPUT -m state --state NEW -m tcp -p tcp --dport 88 -j ACCEPT -A INPUT -m state --state NEW -m udp -p udp --dport 88 -j ACCEPT # free ports for CDH4 -A INPUT -m state --state NEW -m tcp -p tcp --dport 50010
-j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 1004 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50075 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 1006 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50020 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8020 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50070 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50470 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50090 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50495 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8021 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50030 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 9290 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50060 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 0 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8032 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8030 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8031 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8033 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8088 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8040 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8042 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8041 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 10020 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 19888 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 60000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 60010 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 60020 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 60030 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 2888 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 3888 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 9090 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 9083 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 10000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 16000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 2888 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 3888 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 3181 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 4181 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8019 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8002 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8003 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 11000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 11001 -j ACCEPT # free ports for CM4 -A INPUT -m state --state NEW -m tcp -p tcp --dport 7180 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 7183 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 7182 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 7432 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 9000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 9001 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 22000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 21000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 25000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 25010 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 24000 -j ACCEPT
複製程式碼

一般是將其加入到iptables中,當然也可以選擇關閉。

關閉防火牆:

在root下執行下面命令,可以臨時關閉防火牆

service iptables stop

在root下執行下面命令,可以永久關閉防火牆(即,每次開機都會關閉),但需要重啟生效。

chkconfig iptables off

4、關閉SELinux:

$ setenforce 0

如果需要永久關閉,編輯/etc/selinux/config ,設定SELINUX=disabled
,然後完成安裝。如未關閉,則會出現如下錯誤:

如果安裝過程中,由於某種原因中斷,再次安裝的時候需要進行清理。

4、更改Cloudera-manager-installer.bin許可權,使其可執行

$ chmod u+x cloudera-manager-installer.bin
$  ./cloudera-manager-installer.bin

接著,接受許可協議,按Enter和Next,

安裝介面如下所示:

等待安裝完成即可,由於下載的檔案較大,網路不好的情況下會出現靜止很久的情況,所以要耐心等待。如果一直停留在20%、40%、70%,過來好久都沒有變化,這時候需要用Ctrl+C中斷安裝,執行清理後,重新執行安裝命令。

二、啟動 Cloudera Manager Admin 控制檯

 通過Cloudera Manager Admin控制檯,可以配置、管理、監控叢集上的Hadoop,WEB端的URL地址是:http://myhost.example.com:7180,myhost.example.com是你安裝Cloudera-Manager-installer.bin的主機域名,當然用IP也是可以的。例如我的WEB端URL地址就是:http://192.168.1.101:7180 。

通常Cloudera Manager Admin控制檯啟動不起來有以下可能:

service cloudera-scm-server-db 是否啟動

service cloudera-scm-server 是否啟動

service httpd 是否啟動

3、使用Cloudera Manager自動安裝CDH和配置

  注意:掃描IP主機找不到,通常是由於防火牆或者是SELinux的問題

安裝可以聯網安裝,可以建立自己的yum庫,然後通過該yum庫來安裝。

本地yum庫的搭建,請參考:

 選擇從parcel安裝,分散式的解壓的預設儲存在/opt/cloudera/下面。 圖1-1 圖1-2 圖2: 圖3(暫時沒有,主機驗證階段): 圖4: 圖5: 圖6: 圖7: