• 一： CentOS6.8x64 環境初始化
• 二： cdh5.3.x 安裝使軟件配置

##一： CentOS6.8x64 環境初始化

1.1 系統主機名配置

192.168.3.1     master.hadoop.com       master
192.168.3.2     slave1.hadoop.com       slave1
192.168.3.3     slave2.hadoop.com       slave2

1.2 關閉iptables 與selinux 與禁用IPv6

1. 關閉iptables 

iptables -F
service iptables save 
service iptables stop 
chkconfig iptables off 

2. 關閉selinux 
vim /etc/selinx/config

SELINUX=disabled

3. 禁用IPv6 （從新啟動系統驗證）
# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf    
 

1.3 做無密鑰認證

2. 做hadoop用戶無密鑰認證

 ssh-keygen ---一直敲回車到最後

 cat id_rsa.pub >> authorized_keys 

 將所有的公鑰導入authorized_keys  分發到 所有的 機器的.ssh/ 下面

 然後測試

1.4 卸載openjdk 的rpm 包

 rpm -e --nodeps xxx yyy zzz (包含jdk 的rpm 包)

1.5 安裝jdk

rpm -ivh jdk-7u79-linux-x64.rpm

vim /etc/profile

增加環境變量

export JAVA_HOME=/usr/java/jdk1.7.0_79

export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/opt/cloudera/parcels/CDH

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${HADOOP_HOME}/bin
 

1.6 設置進程的參數：（所有節點都配置）

設置文件打開數量和用戶最大進程數
        >> 文件打開數量
        $ ulimit -a 
        >> 用戶最大進程數
        $ ulimit -u
        >> 設置
        $ sudo vi /etc/security/limits.conf 
            內容：
*               soft    nofile          32728
*               hard    nofile          1029345
*               soft    nproc           unlimited
*               hard    nproc           unlimited
*               soft    memlock         unlimited
*               hard    memlock         unlimited 
 

1.7 配置時間同步服務器

1. master:
vim /etc/ntp.conf 增加
restrict 192.168.3.0 mask 255.255.255.0 nomodify notrap

vim /etc/sysconfig/ntpd
echo "SYSNC_HWCLOCK=yes" >> /etc/sysconfig/ntpd

2. slave1,slave2 同步master

crontab -l 

*/5 * * * *     /usr/sbin/ntpdate 192.168.3.1

3. 同步到blos 時間
 hwclock --localtime -w 

1.8 安裝mysql 數據庫

1. 卸載原有數據庫
rpm -qa |grep mysql 
rpm -e mysql-libs-* --nodeps 

2. 安裝新版本的數據庫：

rpm -ivh MySQL-server-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-client-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-devel-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-embedded-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-shared-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-shared-compat-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-test-5.6.31-1.el6.x86_64.rpm

---啟動mysql---

service mysql start
mysql 的 初次使用密碼在 ： cat .mysql_secret 
----更改mysql 密碼：
mysql -uroot -p7OR2voJyB72iT4Px

mysql> set password = password(‘123456‘);
mysql> flush privileges;

二： cdh5.3.x 安裝使軟件配置

2.1 安裝CM 所依賴的包：(全部節點都安裝)

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

2.2. 創建安裝CM 的目錄 所有節點全部配置：（三臺機器全部配置）

1.mkdir /opt/cloudera-manager

上傳已經下載好的CM 5.3.6 軟件
cloudera-manager-el6-cm5.3.6_x86_64.tar.gz
去哪裏下載：
http://archive.cloudera.com/cm5/cm/5/

2. 解壓到/opt/cloudera-manager (所有節點全部配置)
tar -zxvf cloudera-manager-el6-cm5.3.6_x86_64.tar.gz -C /opt/cloudera-manager
----

3. 修改agent 的配置文件config.ini (所有節點全部更改)
cd /opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent
vim config.ini
server_host=master.hadoop.com

4. 創建cloudera-scm 用戶用作安裝（節點全部配置)
#useradd --system --home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

2.3 初始化cloudema-manager表的設置

mysql 授權用戶處理：
mysql -uroot -p123456

---- 先在mysql創建用戶名（temp）、密碼（temp）
grant all privileges on *.* to ‘temp‘@‘%‘ identified by ‘temp‘ with grant option;

grant all privileges on *.* to ‘scm‘@‘%‘ identified by ‘scm‘ with grant option;

grant all privileges on *.* to ‘temp‘@‘master.hadoop.com‘ identified by ‘temp‘ with grant option;

flush privileges;

2.4 執行cloudera-manager創表腳本

  拷貝jdbc 到 java的目錄
  tar -zxvf mysql-connector-java-5.1.42.tar.gz
  cd mysql-connector-java-5.1.42
  cp mysql-connector-java-5.1.42-bin.jar  /usr/share/java/
  cd /usr/share/java/
  mv mysql-connector-java-5.1.42-bin.jar mysql-connector-java.jar 

  腳本：scm_prepare_database.sh

 /opt/cloudera-manager/cm-5.3.6/share/cmf/schema/scm_prepare_database.sh mysql -h node01.yangyang.com -utemp -ptemp --scm-host node01.yangyang.com scm scm scm
 在mysql 中生成數據表scm 

2.5 制作cdh 的本地源

1. cloudera-manager-server 節點：

mkdir -p /opt/cloudera/parcel-repo
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/
mkdir -p /opt/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/

2. cloudera-manager-agent 節點：(所有節點)

mkdir -p /opt/cloudera/parcels

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/

3. 上傳文件
CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.parcel 與 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 （把這個末尾的1去掉） 文件到 /opt/cloudera/parcel-repo

mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/

2.6 啟動CM-server與agent-server

master.hadoop.com 主機

cd /opt/cloudera-manager/cm-5.3.6/etc/init.d
./cloudera-scm-server start 

查看啟動日誌

查看啟動結果：
        需要通過查看server的啟動日誌文件
        /opt/cloudera-manager/cm-5.3.6/log/cloudera-scm-server
    tail -f cloudera-scm-server.log

    看到jetty 表示啟動成功

查看端口號：
netstat -nultp 

看到 7180 表示啟動成功

2.7 打開界面進行安裝CM 組建

http://master.hadoop.com:7180

用戶名： admin 密碼：admin

選擇免費版本

下一步

啟動master.slave1與slave2 節點的agent

master:

cd /opt/cloudera-manager/cm-5.3.6/etc/init.d
./cloudera-scm-agent start

slave1:
cd /opt/cloudera-manager/cm-5.3.6/etc/init.d
./cloudera-scm-agent start

slave2:
cd /opt/cloudera-manager/cm-5.3.6/etc/init.d
./cloudera-scm-agent start

點擊：管理的主機

下一步：

下一步：

下一步：

下一步：

在三臺機上面執行：
echo "0" > /proc/sys/vm/swappiness  
cat /proc/sys/vm/swappiness 
sysctl -p 
echo "never" > /sys/kernel/mm/redhat_transparent_hugepage/defrag
vim /etc/rc.d/rc.local
在最後加上：
echo "never" > /sys/kernel/mm/redhat_transparent_hugepage/defrag

---

然後從新運行處理

下一步：

下一步：選擇自定義安裝：
安裝一個hdfs

分配角色

下一步：

點擊完成即可。
配置服務器組建，根據配置增加服務

大數據平臺cdh5.3.x 的安裝配置