1 CentoOS叢集搭建
阿新 • • 發佈：2018-11-19
CentOS叢集搭建
cd /etc/yum.repos.d/
rm -rf *
cp /usr/local/CentOS6-Base-163.repo . # 自己的repo檔案移動到/etc/yum.repos.d/目錄中：cp /usr/local/CentOS6-Base-163.repo .
# 修改repo檔案，把所有gpgcheck屬性修改為0
# 2、配置yum
yum clean all
yum makecache
yum install telnet
使用虛擬機器搭建臺Linux系統
- 準備映象CentOS-6.4-i386-minimal.iso
- 使用VMware
- 建立Linux系統的虛擬機器
- 開啟虛擬機器的
虛擬網路編輯器，設定NAT模式的子網IP，我的子網設定的192.168.75.0如下圖
- 設定網路為
NAT模式 - 開啟虛擬機器，配置網路，開啟
cd /etc/sysconfig/network-scripts/ifcfg-eth0檔案，修改如下
DEVICE=eth0 HWADDR=00:0C:29:96:86:00 TYPE=Ethernet UUID=3d0e97dd-4e4c-4cd2-8450-b9167bfd0410 ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.75.111 NETMASK=255.255.255.0 GATEWAY=192.168.75.2 DNS1=192.168.75.2
- 關閉防火牆
service iptables stop
chkconfig iptables off
vi /etc/selinux/config
SELINUX=disabled
關閉windows的防火牆！
- 修改
vi /etc/resolv.conf
nameserver 192.168.75.2
- 修改
vi /etc/hosts，對映
192.168.75.111 spark1
- 重啟網路
service network restart
- 測試網路
ping www.baidu.com
- 安裝JDK，配置環境變數（這個不詳細說明）
- 安裝上述步驟，再安裝兩臺一模一樣環境的虛擬機器，因為後面hadoop和spark都是要搭建叢集的。
- 叢集的最小環境就是三臺。因為後面要搭建ZooKeeper、kafka等叢集。
- 另外兩臺機器的hostname分別設定為spark2和spark3即可，ip分別為192.168.75.112和192.168.75.113
- 安裝好之後，記得要在三臺機器的/etc/hosts檔案中，配置全三臺機器的ip地址到hostname的對映，而不能只配置本機，這個很重要！
192.168.75.111 spark1
192.168.75.112 spark2
192.168.75.113 spark3
- 在windows的hosts檔案中也要配置全三臺機器的ip地址到hostname的對映。
叢集ssh免密登陸
- 在每臺虛擬機器上執行
ssh-keygen -t rsa
cd /root/.ssh
cp id_rsa.pub authorized_keys
- 配置三臺機器互相之間的ssh免密碼登陸，以在
spark1機器上為例，另外兩臺類似
ssh-copy-id -i spark2
ssh-copy-id -i spark3