叢集環境下常用Linux基礎配置

1. 本地yum源配置

Yum全稱是Yellow dog Updater,Modified,是一個在Fedora和Redhat以及CentOS中的Shell前端軟體包管理器。基於RPM包管理,能夠從指定的伺服器自動下載RPM包並安裝,可以自動處理依賴性關係,並且一次性安裝所有依賴的軟體包,無須繁瑣的一次次下載、安裝。

下面介紹一種常用的配置本地yum源的方法:

1. 上傳掛載系統iso安裝檔案

mount /opt/ CentOS-7.0-1406-x86_64-DVD.iso /mnt -r

2. 建立/etc/yum.repos.d/base.repo新增以下內容

[base]

name=base

baseurl=file:///mnt/

gpgcheck=0

enabled=1

3. 清理yum快取,檢視本地yum源是否配置成功

yum clean all

yum list

         注:學會檢視使用linux命令幫助,如yum -help,擺脫枯燥記憶的煩惱。

2. 手動建立swap分割槽

系統安裝完成後,可能沒有swap分割槽,需要手工建立,下面介紹一種手工建立swap分割槽的步驟:

1.建立swap分割槽

dd if=/dev/zero of=/home/swap bs=1024 count=2048000

2.格式化新建的分割槽

mkswap /home/swap

3.把新建的分割槽變成swap分割槽

swapon /home/swap

4.開機自動掛載swap

echo "/home/swap   swap   swap   defaults 0 0" >> /etc/fstab

5.檢視swap分割槽大小

free -g 或 free -m

3. 配置ssh互信免密登入

大多數叢集軟體都是master-slave架構,需要主從伺服器ssh免密登入,以下介紹一種配置方法:

1. 前提

yum install openssh

systemctl enable sshd

systemctl start sshd或者service sshd start

2. 在主從伺服器上生成ssh公鑰

ssh-keygen -t rsa

3. 將所有從伺服器的id_rsa.pub合併到主伺服器

ssh-copy-id -i /home/Hadoop/.ssh/id_rsa.pub datanode1

ssh-copy-id -i /home/Hadoop/.ssh/id_rsa.pub datanode2

ssh-copy-id -i /home/Hadoop/.ssh/id_rsa.pub datanode3

4. 測試

ssh datanode1

4. 修改主機名和/etc/hosts並關閉selinux關閉防火牆

以三個節點為例介紹CentOS7.0的配置方法:

1. 三個節點的/etc/sysconfig/network中分別新增

hostname node1

hostname node2

hostname node3

2. 三個節點的/etc/hosts檔案中都新增

101.12.82.103 node1

101.12.82.104 node2

101.12.82.105 node3

3. 修改/etc/selinux/config檔案將SELINUX=enforcing改為SELINUX=disabled

三個節點都重啟生效

init 6

4. 關閉防火牆

systemctl stop firewalld.service

systemctl disable firewalld.service

firewall-cmd --state

5. 修改系統引數/etc/sysctl.conf

根據產品推薦修改系統引數:

1. 修改/etc/sysctl.conf檔案增加以下引數

kernel.pid_max = 524288

vm.max_map_count = 16527169

vm.dirty_background_ratio = 1

vm.dirty_ratio = 2

kernel.hung_task_panic = 0

2. 生效

sysctl -p

6. 修改磁碟預讀引數/etc/rc.local

Vertica資料要求修改磁碟預讀引數如:

1. 修改/etc/rc.local檔案增加以下內容

echo deadline > /sys/block/vda/queue/scheduler

/sbin/blockdev --setra 8192 /dev/vda

echo always > /sys/kernel/mm/transparent_hugepage/enabled

echo always > /sys/kernel/mm/transparent_hugepage/defrag

echo 0 > /proc/sys/vm/swappiness

2. 生效

source /etc/rc.local

7. 配置時鐘同步

配置時鐘同步是叢集軟體常見的要求:

yum install ntp

設定vh001伺服器做內部時鐘伺服器

vh001修改/etc/ntp.conf檔案,新增

server 127.127.1.0

啟動服務

systemctl start ntpd.service

systemctl enable ntpd.service

vh002伺服器優先與vh001伺服器同步,修改/etc/ntp.conf啟動ntpd服務

/etc/ntp.conf增加以下內容:

server vh001 prefer

啟動服務

systemctl start ntpd.service

systemctl enable ntpd.service

vh003伺服器優先與vh001伺服器同步,其次與vh002同步,修改/etc/ntp.conf啟動ntpd服務

/etc/ntp.conf增加以下內容:

server vh001 prefer

server vh002

啟動服務

systemctl start ntpd.service

systemctl enable ntpd.service

檢查時鐘同步結果

ntpdate -u vh001