1. 程式人生 > >hadoop學習之CDH離線安裝

hadoop學習之CDH離線安裝

一、環境準備

1、準備三臺虛擬機器(centos7)

2、Java安裝(jdk1.8)

3、ssh免密設定

4、配置固定IP地址及hosts設定

5、關閉防火牆和selinux

5.1selinux 永久有效

修改 /etc/selinux/config 檔案中的 SELINUX="" 為 disabled ,然後重啟。

5.2 防火牆 永久性生效

直接關閉防火牆

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall開機啟動

8、確認以下包是否有安裝yum install  chkconfig  python bind-utils  psmisc libxslt   zlib sqlite   cyrus-sasl-plain   cyrus-sasl-gssapi  fuse  fuse-libs redhat-lsb   -y1、建立目錄: mkdir /opt/clouderamanager2、上傳 cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz  並解壓  tar zxvf  cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz3、修改 /opt/clouderamanager/cm-5.13.3/etc/cloudera-scm-agent/config.ini   將server_host=CDH   修改成你的主機名;CDH 是我要作為server 伺服器的主機名4、將mysql-connector-java-5.1.44-bin.jar   上傳到 /usr/share/java/  並修改名字為mysql-connector-java.jar (名字要為mysql-connector-java;不能變)5、將/opt/clouderamanager  資料夾拷貝到CDH1、CDH2伺服器上;6、在三臺伺服器執行:    useradd --system --home=/opt/clouderamanager/cm-5.13.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm   建立 cloudera-scm使用者

7、登入mysql  執行 GRANT ALL  PRIVILEGES ON *.* TO

'cdh'@'%' IDENTIFIED BY 'cdh'  WITH GRANT OPTION;

8、回到 server 這臺機器執行: /opt/clouderamanager/cm-5.13.3/share/cmf/schema/scm_prepare_database.sh mysql cm -h 192.168.35.186 -ucdh -pcdh --scm-host 192.168.35.187 scm scm scm

注: 192.168.35.186 為mysql伺服器的地址 ; 192.168.35.187 為server 伺服器的地址 

9、建立 parcel 目錄

  server 節點

   mkdir -p /opt/cloudera/parcel-repo/
   chown cloudera-scm:cloudera-scm  /opt/cloudera/parcel-repo/

agent 節點

mkdir -p /opt/cloudera/parcels/
chown cloudera-scm:cloudera-scm  /opt/cloudera/parcels

10、下載 CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha1、 manifest.json   、CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel

11、將以三個檔案上傳到server機器的/opt/cloudera/parcel-repo/目錄下 並修CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha1

為CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha (名字必須要改)

12、cd /opt/clouderamanager/cm-5.13.3/etc/init.d

13、在server 節點 執行命令:./cloudera-scm-server start    ./cloudera-scm-agent start (server 與agent 同一臺)

在 agent 節點執行 ./cloudera-scm-agent start


14、 啟動時間會久點 因為要初始化些資料 ;雖然 提示 【ok】 但是後臺日誌還在跑;可進入

 cd /opt/clouderamanager/cm-5.13.3/log/cloudera-scm-server   進行日誌檢視

 15、日誌檢視: tail -f cloudera-scm-server.log

17、用firefox 訪問(請不要用win10自帶的瀏覽器)

預設使用者名稱  admin  密碼 admin

18、登入   勾選同意 繼續

選擇免費版本

19、選擇當前管理的主機 - 勾選主機

處理下警告;然後繼續

選擇自定義  選擇自己需要安裝服務;

配置資料庫資訊