大資料叢集環境下的常用linux基礎配置
叢集環境下常用Linux基礎配置
1. 本地yum源配置
Yum全稱是Yellow dog Updater，Modified，是一個在Fedora和Redhat以及CentOS中的Shell前端軟體包管理器。基於RPM包管理，能夠從指定的伺服器自動下載RPM包並安裝，可以自動處理依賴性關係，並且一次性安裝所有依賴的軟體包，無須繁瑣的一次次下載、安裝。
下面介紹一種常用的配置本地yum源的方法：
| 1. 上傳掛載系統iso安裝檔案 mount /opt/ CentOS-7.0-1406-x86_64-DVD.iso /mnt -r 2. 建立/etc/yum.repos.d/base.repo新增以下內容 [base] name=base baseurl=file:///mnt/ gpgcheck=0 enabled=1 3. 清理yum快取，檢視本地yum源是否配置成功 yum clean all yum list |
注：學會檢視使用linux命令幫助，如yum -help，擺脫枯燥記憶的煩惱。
2. 手動建立swap分割槽
系統安裝完成後，可能沒有swap分割槽，需要手工建立，下面介紹一種手工建立swap分割槽的步驟：
| 1.建立swap分割槽 dd if=/dev/zero of=/home/swap bs=1024 count=2048000 2.格式化新建的分割槽 mkswap /home/swap 3.把新建的分割槽變成swap分割槽 swapon /home/swap 4.開機自動掛載swap echo "/home/swap swap swap defaults 0 0" >> /etc/fstab 5.檢視swap分割槽大小 free -g 或 free -m |
3. 配置ssh互信免密登入
大多數叢集軟體都是master-slave架構，需要主從伺服器ssh免密登入，以下介紹一種配置方法：
| 1. 前提 yum install openssh systemctl enable sshd systemctl start sshd或者service sshd start 2. 在主從伺服器上生成ssh公鑰 ssh-keygen -t rsa 3. 將所有從伺服器的id_rsa.pub合併到主伺服器 ssh-copy-id -i /home/Hadoop/.ssh/id_rsa.pub datanode1 ssh-copy-id -i /home/Hadoop/.ssh/id_rsa.pub datanode2 ssh-copy-id -i /home/Hadoop/.ssh/id_rsa.pub datanode3 4. 測試 ssh datanode1 |
4. 修改主機名和/etc/hosts並關閉selinux關閉防火牆
以三個節點為例介紹CentOS7.0的配置方法：
| 1. 三個節點的/etc/sysconfig/network中分別新增 hostname node1 hostname node2 hostname node3 2. 三個節點的/etc/hosts檔案中都新增 101.12.82.103 node1 101.12.82.104 node2 101.12.82.105 node3 3. 修改/etc/selinux/config檔案將SELINUX=enforcing改為SELINUX=disabled 三個節點都重啟生效 init 6 4. 關閉防火牆 systemctl stop firewalld.service systemctl disable firewalld.service firewall-cmd --state |
5. 修改系統引數/etc/sysctl.conf
根據產品推薦修改系統引數：
| 1. 修改/etc/sysctl.conf檔案增加以下引數 kernel.pid_max = 524288 vm.max_map_count = 16527169 vm.dirty_background_ratio = 1 vm.dirty_ratio = 2 kernel.hung_task_panic = 0 2. 生效 sysctl -p |
6. 修改磁碟預讀引數/etc/rc.local
Vertica資料要求修改磁碟預讀引數如：
| 1. 修改/etc/rc.local檔案增加以下內容 echo deadline > /sys/block/vda/queue/scheduler /sbin/blockdev --setra 8192 /dev/vda echo always > /sys/kernel/mm/transparent_hugepage/enabled echo always > /sys/kernel/mm/transparent_hugepage/defrag echo 0 > /proc/sys/vm/swappiness 2. 生效 source /etc/rc.local |
7. 配置時鐘同步
配置時鐘同步是叢集軟體常見的要求：
| yum install ntp 設定vh001伺服器做內部時鐘伺服器 vh001修改/etc/ntp.conf檔案，新增 server 127.127.1.0 啟動服務 systemctl start ntpd.service systemctl enable ntpd.service vh002伺服器優先與vh001伺服器同步，修改/etc/ntp.conf啟動ntpd服務 /etc/ntp.conf增加以下內容： server vh001 prefer 啟動服務 systemctl start ntpd.service systemctl enable ntpd.service vh003伺服器優先與vh001伺服器同步，其次與vh002同步，修改/etc/ntp.conf啟動ntpd服務 /etc/ntp.conf增加以下內容： server vh001 prefer server vh002 啟動服務 systemctl start ntpd.service systemctl enable ntpd.service 檢查時鐘同步結果 ntpdate -u vh001 |