1. 程式人生 > >Hadoop筆記之十六——cm、cdh安裝使用

Hadoop筆記之十六——cm、cdh安裝使用

不論學什麼,總會遇到障礙,自己走和別人同樣的路,也總會有不同的困難,僅以此記錄我的cm、cdh摸索道路。

1、在VMware vSphere上面開闢出四臺機器,五臺的話能搭個HDFS的HA,每一臺16G記憶體、八核、40G輔存     ip排列如下:         192.168.126.80    bigdata.hero-01         192.168.126.81    bigdata.hero-02         192.168.126.88    bigdata.hero-08         192.168.126.89    bigdata.hero-09 2、建立普通使用者,並賦予使用者免密許可權。 3、systemctl命令關閉並禁止防火牆、關掉並禁止elinux系統。 4、設定ntp伺服器,使四臺機器時間保持一致 或者直接統一時間 sudo ntpdate 0.asia.pool.ntp.org(某亞洲時間伺服器) 5、能夠開啟的檔案數量以及使用者最大程序數(不怎麼熟悉)  6.1 解除安裝openjdk,安裝jdk。。。 6、下載CDH的parcel包。 哥哥,長點兒記性,5.3.6的cm不支援centOs7,5.5也不行…… 7、下載cm相關包並搭建cm本地源(http伺服器)、更改自己的yum倉庫,用預設源比較慢。。。其實也沒啥……時間我有的是啊(下附本地源搭建方式) 8、使用cm的bin檔案進行安裝,這個時候bin檔案下載的是自己http伺服器上的東西,速度很快 9、遇錯解錯、安裝成功會自動啟動,到頁面直接訪問7180埠,進入開始頁面安裝叢集和各種服務。

基於上述第七條:

下載資源:

=================================================== CDH parcel檔案下載     url: http://archive.cloudera.com/cdh5/parcels/5.3.6/     檔案:    CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel             CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1     注意:修改CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1檔名為CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha 安裝bin檔案下載     url:http://archive.cloudera.com/cm5/installer/5.3.6/     檔案:cloudera-manager-installer.bin CM安裝相關包下載:     url:http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.6/RPMS/x86_64/     檔案:該url下的所有檔案 CM 相關tar包下載     http://archive.cloudera.com/cm5/cm/5/

=====================================================

本地源搭建:     基於HTTP的搭建方式     >> 啟動HTTP服務(apache服務)         # service httpd start ## 啟動HTTP     apache的配置路徑(放展示頁面的)         /var/www/html     # cd /var/www/html     # mkdir cm-5.3.6     # cd cm-5.3.6     # tar -zxvf /root/softs/cm5.3.6-centos6.tar.gz     # mv cm/5.3.6/RPMS/x86_64/* .     # rm -rf cm 生產repodata資料     1、安裝軟體         # cd /root/softs/repo-libs/         # rpm -ivh ./*     2、生產資料         # cd /var/www/html/cm-5.3.6         # createrepo . 配置本地源     1、備份已有(預設)的yum源         # cd /etc/yum.repos.d         # mkdir back         # mv *repo back/     2、建立一個本地源         # vim myrepo.repo [myrepo] name = myrepo baseurl = http://hadoop-senior01.ibeifeng.com/cm-5.3.6/ enabled = 1 gpgcheck = 0     3、將該檔案copy到其他機器上(其他機器原本的repo檔案也需要刪除或者備份)         scp myrepo.repo hadoop-senior02:/etc/yum.repos.d