關於CDH和Cloudera Manager

CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop眾多分支中的一種，由Cloudera維護，基於穩定版本的Apache Hadoop構建，並集成了很多補丁，可直接用於生產環境。

Cloudera Manager則是為了便於在叢集中進行Hadoop等大資料處理相關的服務安裝和監控管理的元件，對叢集中主機、Hadoop、Hive、Spark等服務的安裝配置管理做了極大簡化。

系統環境

• 實驗環境：Mac下VMware虛擬機器
• 作業系統：CentOS 6.5 x64 (至少記憶體2G以上，這裡記憶體不夠的同學建議還是整幾臺真機配置比較好，將CDH的所有元件全部安裝會佔用很多記憶體，我已開始設定的虛擬機器記憶體是1G，安裝過程中直接卡死了)
• Cloudera Manager：5.1.3
• CDH: 5.1.3

安裝說明

官方參考文件：
http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Installation-Guide/cm5ig_install_path_C.html

官方共給出了3中安裝方式：第一種方法必須要求所有機器都能連網，由於最近各種國外的網站被牆的厲害，我嘗試了幾次各種超時錯誤，巨耽誤時間不說，一旦失敗，重灌非常痛苦。第二種方法下載很多包。第三種方法對系統侵入性最小,最大優點可實現全離線安裝，而且重灌什麼的都非常方便。後期的叢集統一包升級也非常好。這也是我之所以選擇離線安裝的原因。

相關包的下載地址

• CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel
• CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1
• manifest.json

注意：與CDH4的不同，原來安裝CDH4的時候還需要下載IMPALA、Cloudera Search(SOLR)，CDH5中將他們包含在一起了，所以只需要下載一個CDH5的包就可以了。

準備工作：系統環境搭建

以下操作均用root使用者操作。

1. 網路配置(所有節點)

vi /etc/sysconfig/network修改hostname：

NETWORKING=yes
HOSTNAME=n1
 

通過service network restart重啟網路服務生效。

vi /etc/hosts,修改ip與主機名的對應關係

192.168.1.106   n1
192.168.1.107   n2
192.168.1.108   n3

注意：這裡需要將每臺機器的ip及主機名對應關係都寫進去，本機的也要寫進去，否則啟動Agent的時候會提示hostname解析錯誤。

2.打通SSH，設定ssh無密碼登陸（所有節點）

在主節點上執行ssh-keygen -t rsa一路回車，生成無密碼的金鑰對。

將公鑰新增到認證檔案中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys，並設定authorized_keys的訪問許可權：chmod 600 ~/.ssh/authorized_keys。

scp檔案到所有datenode節點：

scp ~/.ssh/authorized_keys [email protected]:~/.ssh/

測試：在主節點上ssh n2，正常情況下，不需要密碼就能直接登陸進去了。

3.安裝Oracle的Java（所有節點）

CentOS，自帶OpenJdk，不過執行CDH5需要使用Oracle的Jdk，需要Java 7的支援。

解除安裝自帶的OpenJdk，使用rpm -qa | grep java查詢java相關的包，使用rpm -e --nodeps 包名解除安裝之。

去Oracle的官網下載jdk的rpm安裝包，並使用rpm -ivh 包名安裝之。

由於是rpm包並不需要我們來配置環境變數，我們只需要配置一個全域性的JAVA_HOME變數即可，執行命令：

echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

4.安裝配置MySql（主節點）

通過yum install mysql-server安裝mysql伺服器。chkconfig mysqld on設定開機啟動，並service mysqld start啟動mysql服務，並根據提示設定root的初試密碼：mysqladmin -u root password 'xxxx'。

mysql -uroot -pxxxx進入mysql命令列，建立以下資料庫：

#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

設定root授權訪問以上所有的資料庫：

#授權root使用者在主節點擁有所有資料庫的訪問許可權
grant all privileges on *.* to 'root'@'n1' identified by 'xxxx' with grant option;
flush privileges;

5.關閉防火牆和SELinux

注意： 需要在所有的節點上執行，因為涉及到的埠太多了，臨時關閉防火牆是為了安裝起來更方便，安裝完畢後可以根據需要設定防火牆策略，保證叢集安全。

關閉防火牆：

service iptables stop （臨時關閉）  
chkconfig iptables off （重啟後生效）

關閉SELINUX（實際安裝過程中發現沒有關閉也是可以的，不知道會不會有問題，還需進一步進行驗證）:

setenforce 0 （臨時生效）  
修改 /etc/selinux/config 下的 SELINUX=disabled （重啟後永久生效）

6.所有節點配置NTP服務

叢集中所有主機必須保持時間同步，如果時間相差較大會引起各種問題。 具體思路如下：

master節點作為ntp伺服器與外界對時中心同步時間，隨後對所有datanode節點提供時間同步服務。

所有datanode節點以master節點為基礎同步時間。

所有節點安裝相關元件：yum install ntp。完成後，配置開機啟動：chkconfig ntpd on,檢查是否設定成功：chkconfig --list ntpd其中2-5為on狀態就代表成功。

主節點配置

在配置之前，先使用ntpdate手動同步一下時間，免得本機與對時中心時間差距太大，使得ntpd不能正常同步。這裡選用65.55.56.206作為對時中心,ntpdate -u 65.55.56.206。

ntp服務只有一個配置檔案，配置好了就OK。 這裡只給出有用的配置，不需要的配置都用#注掉，這裡就不在給出：

driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap 
server 65.55.56.206 prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

配置檔案完成，儲存退出，啟動服務，執行如下命令：service ntpd start

檢查是否成功，用ntpstat命令檢視同步狀態，出現以下狀態代表啟動成功：

synchronised to NTP server () at stratum 2
time correct to within 74 ms
polling server every 128 s

如果出現異常請等待幾分鐘，一般等待5-10分鐘才能同步。

配置ntp客戶端（所有datanode節點）

driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#這裡是主節點的主機名或者ip
server n1
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

ok儲存退出，請求伺服器前，請先使用ntpdate手動同步一下時間：ntpdate -u n1 (主節點ntp伺服器)

這裡可能出現同步失敗的情況，請不要著急，一般是本地的ntp伺服器還沒有正常啟動，一般需要等待5-10分鐘才可以正常同步。啟動服務：service ntpd start

因為是連線內網，這次啟動等待的時間會比master節點快一些，但是也需要耐心等待一會兒。

正式開工

安裝Cloudera Manager Server 和Agent

主節點解壓安裝

cloudera manager的目錄預設位置在/opt下，解壓：tar xzvf cloudera-manager*.tar.gz將解壓後的cm-5.1.3和cloudera目錄放到/opt目錄下。

為Cloudera Manager 5建立資料庫

首先需要去MySql的官網下載JDBC驅動，http://dev.mysql.com/downloads/connector/j/，解壓後，找到mysql-connector-java-5.1.33-bin.jar，放到/opt/cm-5.1.3/share/cmf/lib/中。

在主節點初始化CM5的資料庫：

/opt/cm-5.1.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

Agent配置

修改/opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini中的server_host為主節點的主機名。

同步Agent到其他節點

scp -r /opt/cm-5.1.3 [email protected]:/opt/

在所有節點建立cloudera-scm使用者

useradd --system --home=/opt/cm-5.1.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

準備Parcels，用以安裝CDH5

將CHD5相關的Parcel包放到主節點的/opt/cloudera/parcel-repo/目錄中（parcel-repo需要手動建立）。

相關的檔案如下：

• CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel
• CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1
• manifest.json

最後將CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1，重新命名為CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha，這點必須注意，否則，系統會重新下載CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel檔案。

相關啟動指令碼

通過/opt/cm-5.1.3/etc/init.d/cloudera-scm-server start啟動服務端。

通過/opt/cm-5.1.3/etc/init.d/cloudera-scm-agent start啟動Agent服務。

我們啟動的其實是個service指令碼，需要停止服務將以上的start引數改為stop就可以了，重啟是restart。

CDH5的安裝配置

Cloudera Manager Server和Agent都啟動以後，就可以進行CDH5的安裝配置了。

這時可以通過瀏覽器訪問主節點的7180埠測試一下了（由於CM Server的啟動需要花點時間，這裡可能要等待一會才能訪問），預設的使用者名稱和密碼均為admin：

可以看到，免費版本的CM5已經沒有原來50個節點數量的限制了。

各個Agent節點正常啟動後，可以在當前管理的主機列表中看到對應的節點。選擇要安裝的節點，點繼續。

接下來，出現以下包名，說明本地Parcel包配置無誤，直接點繼續就可以了。

點選，繼續，如果配置本地Parcel包無誤，那麼下圖中的已下載，應該是瞬間就完成了，然後就是耐心等待分配過程就行了，大約10多分鐘吧，取決於內網網速。

接下來是伺服器檢查，可能會遇到以下問題：

Cloudera 建議將 /proc/sys/vm/swappiness 設定為 0。當前設定為 60。使用 sysctl 命令在執行時更改該設定並編輯 /etc/sysctl.conf 以在重啟後儲存該設定。您可以繼續進行安裝，但可能會遇到問題，Cloudera Manager 報告您的主機由於交換執行狀況不佳。以下主機受到影響：

通過echo 0 > /proc/sys/vm/swappiness即可解決。

接下來是選擇安裝服務：

服務配置，一般情況下保持預設就可以了（Cloudera Manager會根據機器的配置自動進行配置，如果需要特殊調整，自行進行設定就可以了）：

接下來是資料庫的設定，檢查通過後就可以進行下一步的操作了：

下面是叢集設定的審查頁面，我這裡都是保持預設配置的：

終於到安裝各個服務的地方了，注意，這裡安裝Hive的時候可能會報錯，因為我們使用了MySql作為hive的元資料儲存，hive預設沒有帶mysql的驅動，通過以下命令拷貝一個就行了：

cp /opt/cm-5.1.3/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/lib/

服務的安裝過程大約半小時內就可以完成：

安裝完成後，就可以進入叢集介面看一下叢集的當前狀況了。

這裡可能會出現無法發出查詢：對 Service Monitor 的請求超時的錯誤提示，如果各個元件安裝沒有問題，一般是因為伺服器比較卡導致的，過一會重新整理一下頁面就好了：

測試

在叢集的一臺機器上執行以下模擬Pi的示例程式：

sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100

執行過程需要花一定的時間，通過YARN的後臺也可以看到MapReduce的執行狀態：

MapReduce執行過程中終端的輸出如下：

Number of Maps  = 10
Samples per Map = 100
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Starting Job
14/10/13 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at n1/192.168.1.161:8032
14/10/13 01:15:36 INFO input.FileInputFormat: Total input paths to process : 10
14/10/13 01:15:37 INFO mapreduce.JobSubmitter: number of splits:10
14/10/13 01:15:39 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1413132307582_0001
14/10/13 01:15:40 INFO impl.YarnClientImpl: Submitted application application_1413132307582_0001
14/10/13 01:15:40 INFO mapreduce.Job: The url to track the job: http://n1:8088/proxy/application_1413132307582_0001/
14/10/13 01:15:40 INFO mapreduce.Job: Running job: job_1413132307582_0001
14/10/13 01:17:13 INFO mapreduce.Job: Job job_1413132307582_0001 running in uber mode : false
14/10/13 01:17:13 INFO mapreduce.Job:  map 0% reduce 0%
14/10/13 01:18:02 INFO mapreduce.Job:  map 10% reduce 0%
14/10/13 01:18:25 INFO mapreduce.Job:  map 20% reduce 0%
14/10/13 01:18:35 INFO mapreduce.Job:  map 30% reduce 0%
14/10/13 01:18:45 INFO mapreduce.Job:  map 40% reduce 0%
14/10/13 01:18:53 INFO mapreduce.Job:  map 50% reduce 0%
14/10/13 01:19:01 INFO mapreduce.Job:  map 60% reduce 0%
14/10/13 01:19:09 INFO mapreduce.Job:  map 70% reduce 0%
14/10/13 01:19:17 INFO mapreduce.Job:  map 80% reduce 0%
14/10/13 01:19:25 INFO mapreduce.Job:  map 90% reduce 0%
14/10/13 01:19:33 INFO mapreduce.Job:  map 100% reduce 0%
14/10/13 01:19:51 INFO mapreduce.Job:  map 100% reduce 100%
14/10/13 01:19:53 INFO mapreduce.Job: Job job_1413132307582_0001 completed successfully
14/10/13 01:19:56 INFO mapreduce.Job: Counters: 49
    File System Counters
        FILE: Number of bytes read=91
        FILE: Number of bytes written=1027765
        FILE: Number of read operations=0
        FILE: Number of large read operations=0
        FILE: Number of write operations=0
        HDFS: Number of bytes read=2560
        HDFS: Number of bytes written=215
        HDFS: Number of read operations=43
        HDFS: Number of large read operations=0
        HDFS: Number of write operations=3
    Job Counters
        Launched map tasks=10
        Launched reduce tasks=1
        Data-local map tasks=10
        Total time spent by all maps in occupied slots (ms)=118215
        Total time spent by all reduces in occupied slots (ms)=11894
        Total time spent by all map tasks (ms)=118215
        Total time spent by all reduce tasks (ms)=11894
        Total vcore-seconds taken by all map tasks=118215
        Total vcore-seconds taken by all reduce tasks=11894
        Total megabyte-seconds taken by all map tasks=121052160
        Total megabyte-seconds taken by all reduce tasks=12179456
    Map-Reduce Framework
        Map input records=10
        Map output records=20
        Map output bytes=180
        Map output materialized bytes=340
        Input split bytes=1380
        Combine input records=0
        Combine output records=0
        Reduce input groups=2
        Reduce shuffle bytes=340
        Reduce input records=20
        Reduce output records=0
        Spilled Records=40
        Shuffled Maps =10
        Failed Shuffles=0
        Merged Map outputs=10
        GC time elapsed (ms)=1269
        CPU time spent (ms)=9530
        Physical memory (bytes) snapshot=3792773120
        Virtual memory (bytes) snapshot=16157274112
        Total committed heap usage (bytes)=2856624128
    Shuffle Errors
        BAD_ID=0
        CONNECTION=0
        IO_ERROR=0
        WRONG_LENGTH=0
        WRONG_MAP=0
        WRONG_REDUCE=0
    File Input Format Counters
        Bytes Read=1180
    File Output Format Counters
        Bytes Written=97
Job Finished in 262.659 seconds
Estimated value of Pi is 3.14800000000000000000

檢查Hue

首次登陸Hue會讓設定一個初試的使用者名稱和密碼，設定好，登陸到後臺，會做一次檢查，一切正常後會提示：

到這裡表明我們的叢集可以使用了。

遇到的問題

Agent啟動後，安裝階段“當前管理的主機”中顯示的節點不全，每次重新整理顯示的都不一樣。

Agent的錯誤日誌表現如下：

[18/Nov/2014 21:12:56 +0000] 22681 MainThread agent ERROR Heartbeating to master:7182 failed.
Traceback (most recent call last):
  File "/home/opt/cm-5.2.0/lib64/cmf/agent/src/cmf/agent.py", line 820, in send_heartbeat
    response = self.requestor.request('heartbeat', dict(request=heartbeat))
  File "/home/opt/cm-5.2.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 139, in request
    return self.issue_request(call_request, message_name, request_datum)
  File "/home/opt/cm-5.2.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 255, in issue_request
    return self.read_call_response(message_name, buffer_decoder)
  File "/home/opt/cm-5.2.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 235, in read_call_response
    raise self.read_error(writers_schema, readers_schema, decoder)
  File "/home/opt/cm-5.2.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 244, in read_error
    return AvroRemoteException(datum_reader.read(decoder))
  File "/home/opt/cm-5.2.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/io.py", line 444, in read
    return self.read_data(self.writers_schema, self.readers_schema, decoder)
  File "/home/opt/cm-5.2.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/io.py", line 448, in read_data
    if not DatumReader.match_schemas(writers_schema, readers_schema):
  File "/home/opt/cm-5.2.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/io.py", line 379, in match_schemas
    w_type = writers_schema.type
AttributeError: 'NoneType' object has no attribute 'type'

這是由於在主節點上啟動了Agent後，又將Agent scp到了其他節點上導致的，首次啟動Agent，它會生成一個uuid，路徑為：/opt/cm-5.1.3/lib/cloudera-scm-agent/uuid,這樣的話每臺機器上的Agent的uuid都是一樣的了，就會出現紊亂的情況。

解決方案：

刪除/opt/cm-5.1.3/lib/cloudera-scm-agent/目錄下的所有檔案。

清空主節點CM資料庫。

最佳實踐

在內網單獨搭建yum的repo，然後CM的管理介面安裝Agent，這樣安裝比較快，也不會出現什麼問題。

如果手動新增新增Agent的話，需要注意啟動之前刪除相關的標示檔案，否則Server端在資料庫中記錄Agent的資訊，還得清理資料庫中的資訊，就麻煩了。