前期部落格

說在前面的話（看清楚就好！！！）

　　 我這篇部落格，是兩種方式都使用過：（在/etc/yum.repos.d下的）

[[email protected]clouderamanager01 yum.repos.d]$ sudo vi cloudera-manager.repo
[[email protected]clouderamanager02 yum.repos.d]$ sudo vi cloudera-manager.repo
[[email protected]clouderamanager03 yum.repos.d]$ sudo vi cloudera-manager.repo
 

即（博主我推薦用這種！！！）（但是不需）

[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.6/
gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1

或者（但是，需要自定義儲存庫）

[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=https://clouderamanager01/cm5/redhat/6/x86_64/cm/5.3.6/
enabled = 1
gpgcheck = 1

　　我這裡是，使用CM 5.3.x利用parcels方式叢集安裝CDH 5.3.x單節點叢集！（開始開工）

 　　下載

CDH離線包

http://archive.cloudera.com/cdh5/parcels/

　　我這裡，是選擇5.3.6版本

下載以下三個檔案就好：

http://archive.cloudera.com/cdh5/parcels/5.3.6/CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.3.6/CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1
http://archive.cloudera.com/cdh5/parcels/5.3.6/manifest.json

 以下是clouderamanager01這臺機器上（主節點）

[[email protected] softwares]$ pwd
/opt/softwares
[[email protected] softwares]$ ll
total 4
drwxr-xr-x 2 hadoop hadoop 4096 Apr  8 13:49 cm-5.3.6
[[email protected] softwares]$ sudo mkdir cdh-5.3.6
[[email protected] softwares]$ ll
total 8
drwxr-xr-x 2 root   root   4096 Apr  8 20:00 cdh-5.3.6
drwxr-xr-x 2 hadoop hadoop 4096 Apr  8 13:49 cm-5.3.6
[[email protected] softwares]$ cd cdh-5.3.6/
[[email protected] cdh-5.3.6]$ pwd
/opt/softwares/cdh-5.3.6
[[email protected] cdh-5.3.6]$ ll
total 0
[[email protected] cdh-5.3.6]$ sudo rz

[[email protected] cdh-5.3.6]$ sudo rz

[[email protected] cdh-5.3.6]$ sudo rz

[[email protected] cdh-5.3.6]$ ll
total 1473900
-rw-r--r-- 1 root root 1509217191 Apr  7 19:38 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.html
-rw-r--r-- 1 root root         41 Apr  7 19:24 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1
-rw-r--r-- 1 root root      42661 Apr  7 19:24 manifest.json
[[email protected] cdh-5.3.6]$ 

 　　以下是clouderamanager01這臺機器上安裝之後，預設產生的（在這裡，你看看就好）

[[email protected] opt]$ pwd
/opt
[[email protected] opt]$ ll
total 16
drwxr-xr-x  4 cloudera-scm cloudera-scm 4096 Apr  8 18:31 cloudera
drwxr-xr-x  2 root         root         4096 Apr  8 18:13 cloudera-manager
drwxr-xr-x. 2 root         root         4096 Nov 22  2013 rh
drwxr-xr-x  4 hadoop       hadoop       4096 Apr  8 20:00 softwares
[[email protected] opt]$ cd cloudera
[[email protected] cloudera]$ ll
total 8
drwxr-xr-x 2 cloudera-scm cloudera-scm 4096 Jul 30  2015 csd
drwxr-xr-x 2 cloudera-scm cloudera-scm 4096 Jul 30  2015 parcel-repo
[[email protected] cloudera]$ cd parcel-repo/
[[email protected] parcel-repo]$ pwd
/opt/cloudera/parcel-repo
[[email protected] parcel-repo]$ ll
total 0
[[email protected] parcel-repo]$ 

 　　或者，有時候，安裝CM完成後，出現：

以下是clouderamanager01這臺機器上安裝之後，預設產生的（在這裡，你看看就好）

 

[[email protected] opt]$ pwd
/opt
[[email protected] opt]$ ll
total 8
drwxr-xr-x  4 cloudera-scm cloudera-scm 4096 Apr  8 22:48 cloudera
drwxr-xr-x. 3 hadoop       hadoop       4096 Apr  8 11:20 softwares
[[email protected] opt]$ cd cloudera/
[[email protected] cloudera]$ ll
total 8
drwxr-xr-x 2 cloudera-scm cloudera-scm 4096 Mar 20 11:24 csd
drwxr-xr-x 2 cloudera-scm cloudera-scm 4096 Mar 20 11:24 parcel-repo
[[email protected] cloudera]$

關於/opt/cloudera/parcel-repo和/opt/cloudera/parcel（必須弄懂，別怕）

　　192.168.80.148   clouderamanager01　 （部署ClouderaManager-server和Mirror server）  （部署Agent） 　　　　（分配1G，我這裡只是體驗過程，當然你可以分配更多或更小)　

　　192.168.80.149   clouderamanager02    （部署Agent）　　　　　　　　　　　　　　　　　　　　　 （分配1G，我這裡只是體驗過程，當然你可以分配更多或更小)

　　192.168.80.150   clouderamanager03   （部署Agent）

　　部署ClouderaManager-server和Mirror server的機器，預設是儲存在/opt/cloudera/parcel-repo。

　　部署Agent的機器，預設是儲存在/opt/cloudera/parcel。

 　　即，這也是為什麼，我在下面這篇部落格裡寫到。

　　部落格裡，提及到的tar方式來安裝。

 

 　　我這篇博文，是安裝單節點叢集，是在clouderamanager01上。因為，它是安裝了ClouderaManager-server和Mirror server的機器。

 　　所以，預設是存在/opt/cloudera/parcel-repo。（因為，我是在這個做主節點的！，也是為了後續的3節點叢集準備）

http://clouderamanager01:7180/cmf/home

[[email protected] yum.repos.d]$ sudo service cloudera-scm-server status
cloudera-scm-server (pid  5533) is running...
[[email protected] yum.repos.d]$ sudo service cloudera-scm-server restart
Stopping cloudera-scm-server:                              [  OK  ]
Starting cloudera-scm-server:                              [  OK  ]
[[email protected] yum.repos.d]$ 

http://clouderamanager01:7180/cmf/login

 

 

　　選擇叢集中的主機，這裡選擇所有主機。

 　　這步選擇CDH安裝包，進入這個頁面是，系統自動識別本地parcel包了。如果不識別，則可以點選上面更多選擇裡面到對應的目錄把正確的本地路徑地址和遠端url地址路徑填上即可。

 

　　注意：預設是最新的穩定版本！

http://archive.cloudera.com/cdh5/parcels/latest/

 　　其實呢，在安裝過程中，我們可以用預設的。但是，我這裡選擇用5.3.6。

http://archive.cloudera.com/cdh5/parcels/5.3.6/

 　　同時，注意這兩個地方　　

　　本地 Parcel 儲存庫路徑，預設是/opt/cloudera/parcel-repo （即clouderaManager01這臺機器）

 　　Parcel 目錄，預設是/opt/cloudera/parcels（即clouderaManager02、即clouderaManager03機器）

　　但是呢。不更改，也可以正常安裝！

 

 

 

 　　填入，就是這裡的值!

clouderaManager01/cm5/redhat/6/x86_64/cm/5.3.6/

 　　其實啊，這一步的ssh，我之前已經配置過了，這裡還是最好再自動配置吧！即勾選上。

　　

　　在安裝過程中，出現如下問題

[[email protected] html]$ pwd
/var/www/html
[[email protected] html]$ ll
total 4
drwxr-xr-x 3 root root 4096 Apr  8 20:37 cm5
[[email protected] html]$ sudo mkdir -p cm5/redhat/6/x86_64/cm/5.3.6/repodata
[[email protected] html]$ ll
total 4
drwxr-xr-x 3 root root 4096 Apr  8 20:37 cm5
[[email protected] html]$ cd cm5/redhat/6/x86_64/cm/5.3.6/repodata/
[[email protected] repodata]$ pwd
/var/www/html/cm5/redhat/6/x86_64/cm/5.3.6/repodata
[[email protected] repodata]$ ll
total 0
[[email protected] repodata]$ 

 

[[email protected] repodata]$ pwd
/var/www/html/cm5/redhat/6/x86_64/cm/5.3.6/repodata
[[email protected] repodata]$ sudo rz

[[email protected] repodata]$ sudo rz

[[email protected] repodata]$ sudo rz

[[email protected] repodata]$ sudo rz

[[email protected] repodata]$ sudo rz

[[email protected] repodata]$ sudo rz

[[email protected] repodata]$ sudo rz

[[email protected] repodata]$ sudo rz

[[email protected] repodata]$ ll
total 124
-rw-r--r-- 1 root root 91122 Apr  7 22:36 filelists.xml.gz
-rw-r--r-- 1 root root   198 Apr  7 22:36 filelists.xml.gz.asc
-rw-r--r-- 1 root root   570 Apr  7 22:36 other.xml.gz
-rw-r--r-- 1 root root   198 Apr  7 22:36 other.xml.gz.asc
-rw-r--r-- 1 root root  4208 Apr  7 22:37 primary.xml.gz
-rw-r--r-- 1 root root   198 Apr  7 22:37 primary.xml.gz.asc
-rw-r--r-- 1 root root   951 Apr  7 22:37 repomd.xml
-rw-r--r-- 1 root root   198 Apr  7 22:37 repomd.xml.asc
[[email protected] repodata]$ 

 　　叢集安裝
　　因為這裡所需要的軟體包我們之前都已經安裝過了，這一步會很快結束。

如果還是沒解決的話，那就換成線上的吧！（哎）

 

[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.6/
gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1

　　然後，接著下面

　　重複，執行上面的過程。這裡省略，.....

直至如下介面.....

　安裝Parcel到所有主機上（我這裡是clouderaManager02這臺機器上）
　　因為Parcel檔案已經提前下載好了，第一個進度條會直接顯示已下載，然後開始分配。這個過程實際上就是將Parcel內的軟體解壓縮安裝到各個主機上的過程。耐心等待，時間會比較長，我安裝1臺主機（即在clouderaManager02這臺，安裝單節點叢集）大概是需要5分鐘時間。（這裡看個人的網速和記憶體有關）

　　其實啊，這裡分配就是解壓。

 

安裝完畢後點繼續

 主機檢查
檢查就可以了，建議不要跳過。檢查結果如下：

 

 　　這裡， 是必須得所有不能出現黃色警告！

 

安裝完成之後，再安裝所需的服務（其實，這一步，若你的記憶體和空間足夠，最好選擇所有服務）

 　　其實啊，這步是選擇叢集中要安裝的CDH服務，為了將來新增服務麻煩，我們這裡選擇所有服務。其中有暫時用不到的服務，我們可以在介面中停止服務，這樣可以節省記憶體資源

　　這裡，新增Cloudera Management Service服務

 

　　然後，關於安裝其他的，如Zookeeper、Hive、HBase和Spakr、Hadoop等。這些。我就不贅述了。

　　或者，你可以。CDH5提供了你可能需要的各種服務，需要什麼啟動什麼就行了。這裡我選擇了自定義，添HBase，HDFS，Hive，MapReduce，ZooKeeper，Spark等新增這裡大家按照自己的需求選。

　　換圖

角色分配
　　分配各個節點的角色

 

 

資料庫設定

　　我這裡，故意先是，選擇使用嵌入式資料庫，只是做個示範而已。點選測試連線，成功後點繼續。

 　　但是，若是實際生產環境中，最好還是用自定義資料庫，我這裡只是玩玩而已。（記得截圖，以便為了看密碼）

 　　同時，注意，我的clouderaManager01僅僅只是安裝了CM而已，當前要到clouderaManager02上去。

　　所以，CDH預設內嵌了一個數據庫，無法通過。我這裡選擇需要MySQL或者Oracle請選擇使用自定義資料庫，

　　比如Hive， oozie 元資料庫配置，使用我們安裝的mysql來存放元資料，其中資料庫名，使用者名稱和密碼需要預先建立好的。這裡。請移步

　　需要之前就建立好，請移步

　　注意，這裡，gaiwei

mysql> GRANT ALL PRIVILEGES ON *.* to 'hive'@'

clouderaManager02

' IDENTIFIED BY 'hive_password' WITH GRANT OPTION;

mysql> GRANT ALL PRIVILEGES ON *.* to 'oozie'@'clouderaManager02' IDENTIFIED BY 'oozie_password' WITH GRANT OPTION;

 

 

如果中間出錯誤了，則如下這樣，刪除就好

[[email protected] ~]$ sudo rpm -qa|grep mysql
mysql-server-5.1.73-8.el6_8.x86_64
mysql-5.1.73-8.el6_8.x86_64
mysql-libs-5.1.73-8.el6_8.x86_64
[[email protected] ~]$ sudo rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
error: package mysql-libs-5.1.71-1.el6.x86_64 is not installed
[[email protected] ~]$ sudo rpm -e --nodeps mysql-server-5.1.73-8.el6_8.x86_64
warning: /var/log/mysqld.log saved as /var/log/mysqld.log.rpmsave
[[email protected] ~]$ sudo rpm -e --nodeps mysql-5.1.73-8.el6_8.x86_64
[[email protected] ~]$ sudo rpm -e --nodeps mysql-libs-5.1.73-8.el6_8.x86_64
[[email protected] ~]$ sudo rpm -qa|grep mysql
[[email protected] ~]$ 

稽核更改
　　這裡全部預設就可以了，直接繼續。

 

安裝完成，初始化
　　到這裡叢集已經安裝部署完成了，CDH會自動對你選擇的服務進行初始化設定，你也可以稍後自行開啟。

初始化完成後，將進入主頁面

 

常見錯誤

[[email protected] parcel-repo]$ sudo service cloudera-scm-server restart

./cloudera-scm-server: line 109: pstree: command not found
Starting cloudera-scm-server:                              [  OK  ]

　　主要因為沒有安裝pstree包。


解決辦法：

[[email protected] parcel-repo]$ sudo yum install epel-release (安裝yum 源)
[[email protected] parcel-repo]$ sudo yum provides pstree (找到提供pstree命令的包)
[[email protected] parcel-repo]$ sudo yum install psmisc (安裝對應的包)


然後，
[[email protected] parcel-repo]$ sudo service cloudera-scm-server restart
Stopping cloudera-scm-server:                              [  OK  ]
Starting cloudera-scm-server:                              [  OK  ]

Detecting Cloudera Manager Server...
    Detecting Cloudera Manager Server...
    BEGIN host -t PTR 192.168.1.198
    198.1.168.192.in-addr.arpa domain name pointer localhost.
    END (0)
    using localhost as scm server hostname
    BEGIN which python
    /usr/bin/python
    END (0)
    BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' localhost 7182
    Traceback (most recent call last):
    File "<string>", line 1, in <module>
    File "<string>", line 1, in connect
    socket.error: [Errno 111] Connection refused
    END (1)
    could not contact scm server at localhost:7182, giving up
    waiting for rollback request

解決辦法：

　　在失敗的主機上，終端執行

sudo mv /usr/bin/host /usr/bin/host.bak

　　然後重試。

　　安裝過程一直卡在"正在獲取安裝鎖"狀態介面

　　解決辦法：
在卡住的主機上，刪除/tmp資料夾中的所有scm_prepare_node.開頭的檔案，清空yum快取，然後重啟主機。

sudo cd /tmp 
sudo rm -rf  scm_prepare_node.*
sudo yum clean all
sudo reboot

安裝完畢後NameNode格式化失敗，報以下錯誤

IncorrectVersionException: Unexpected version of storage directory /data/dfs

　　解決辦法：

　　刪除NameNode節點的/data/dfs資料夾，重新新增主機。

如何更改節點ip

　　解決辦法：
　　重新設定每臺主機的hosts檔案，完成後進入主機介面，點選重新執行升級嚮導，再走一遍之前的流程即可。

參考連結

http://www.mamicode.com/info-detail-1596233.html

http://www.jianshu.com/p/57179e03795f

http://www.aboutyun.com/thread-20741-1-1.html

 　　若您想搭建多節點叢集，請移步

歡迎大家，加入我的微信公眾號：大資料躺過的坑        人工智慧躺過的坑

同時，大家可以關注我的個人部落格：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   詳情請見：http://www.cnblogs.com/zlslch/p/7473861.html

　　人生苦短，我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神，匯聚於網際網路和個人學習工作的精華乾貨知識，一切來於網際網路，反饋回網際網路。
　　目前研究領域：大資料、機器學習、深度學習、人工智慧、資料探勘、資料分析。 語言涉及：Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和網際網路上的使用技巧、問題和實用軟體。 只要你一直關注和呆在群裡，每天必須有收穫

      對應本平臺的討論和答疑QQ群：大資料和人工智慧躺過的坑（總群）（161156071）