1. 程式人生 > >大資料基礎學習筆記(安裝CDH的環境配置)

大資料基礎學習筆記(安裝CDH的環境配置)

1.下載軟體地址((以centos7.4))
CDH安裝包地址:
http://archive.cloudera.com/cdh5/parcels/5.14.0/
CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel
CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1
manifest.json

Cloudera Manager下載地址:
http://archive.cloudera.com/cm5/cm/5/
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el7-cm5.14.0_x86_64.tar.gz

2.網路配置

vim /etc/sysconfig/network


vim /etc/hosts

(內網) 

 

3.SSH免密匙登入

1.生成RSA祕鑰對
   在XShell下方輸入框中輸入命令ssh-keygen -t rsa,然後回車執行。再回車3次,即可生成RSA祕鑰對
 2.檢視金鑰對檔案
   ls .ssh              
   id_rsa 私鑰  
   id_rsa.pub 公鑰
 3.將每個節點的公鑰拷貝到authorized_keys
   可以通過命令ssh-copy-id,將本機公鑰複製到其他節點的authorized_keys目錄,這樣本機即可免祕鑰登入其他節點。
      (按照提示輸入“yes”和密碼,即可將node1的公鑰複製到node1、node2和node3節點。(複製本機,可以實現免密登入本機))
      ssh-copy-id node1
      ssh-copy-id node2
      ssh-copy-id node3
      在三個節點都執行
  4.測試免密登入
    ssh node1   
    ssh node2
    ssh node3
    在三個節點中檢視ls .ssh ,ll .ssh,cat .ssh/authorized_keys,cat .ssh/known_hosts
  5.退出ssh登入
     exit

4.防火牆關閉

service iptables stop
chkconfig iptables off

(本人是買的阿里雲伺服器,檢視關閉防火牆地址https://www.jianshu.com/p/4a9958d2e859

5.selinux關閉

setenforce 0 (臨時生效)
修改 /etc/selinux/config 下的 SELINUX=disabled (重啟後永久生效)

 6.安裝jdk1.8,環境變數

JAVA_HOME=/usr/java/jdk1.8.0_161
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

立即生效source /etc/profile

檢查是否成功java -version

7.安裝NTP

yum install ntp 安裝NTP
systemctl enable ntpd.service 自啟動
pgrep ntpd //檢視相關程序
service ntpd status 查詢ntpd的狀態
ntpdate -u ntp.sjtu.edu.cn  時間的誤差

配置NTP服務(所有節點)
叢集中所有主機必須保持時間同步,如果時間相差較大會引起各種問題。
具體思路如下:
master節點作為ntp伺服器與外界對時中心同步時間,隨後對所有slave節點提供時間同步服務。
所有slave節點以master節點為基礎同步時間。
所有節點安裝相關元件:yum install ntp。完成後,
配置開機啟動:chkconfig ntpd on,檢查是否設定成功:chkconfig --list ntpd其中2-5為on狀態就代表成功。

主節點配置
在配置之前,先使用ntpdate手動同步一下時間,免得本機與對時中心時間差距太大,使得ntpd不能正常同步。
這裡選用0.asia.pool.ntp.org作為對時中心,ntpdate 0.asia.pool.ntp.org。
ntp服務只有一個配置檔案(/etc/ntp.conf),配置好了就OK。
 這裡只給出有用的配置,不需要的配置都用#注掉,這裡就不在給出:
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
server 0.asia.pool.ntp.org prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

配置檔案完成,儲存退出,啟動服務,執行如下命令:service ntpd start
檢查是否成功,用ntpstat命令檢視同步狀態,出現以下狀態代表啟動成功:

如果出現異常請等待幾分鐘,一般等待5-10分鐘才能同步。

配置ntp客戶端(所有slave節點)
driftfile /var/lib/ntp/drift
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict -6 ::1
server node1
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

儲存退出,請求伺服器前,請先使用ntpdate手動同步一下時間:
ntpdate -u node1 (主節點ntp伺服器)
啟動服務:
service ntpd start

如果時間同步不成功可以看看網址http://blog.itpub.net/26524307/viewspace-1063924/

8.安裝mysql

可以參考的《學習hadoop遇到的問題(安裝mysql時,密碼找不到)》這篇文章

9.下載第三方依賴包
線上安裝命令  yum install
需要安裝的第三方依賴包
chkconfig
python
bind-utils
psmisc
libxslt
zlib
sqlite
fuse
fuse-libs
redhat-lsb
cyrus-sasl-plain
cyrus-sasl-gssapi
yum install chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi