一、叢集軟體選擇及環境部署

1.叢集軟體選擇

2.單機情況下偽分散式模式下叢集主機和ip對映

二、環境設定

1.關閉防火牆

CentOS7安裝好後，需要關閉防火牆。CentOS7預設使用firewall作為防火牆,關閉防火牆

systemctl stop firewalld.service
 
 #停止防火牆
systemctl disable firewalld.serverice #禁止開機啟動

2.關閉SELinux

1)修改selinux檔案

SELinux=enforce  修改為  SELinux=disable

2)使配置生效

#setenforce 0
#getenforce

3)關閉不需要的服務

for SERVICES in abrtd acpid auditd avahi-daemon cpuspeed haldaemon mdmonitor messagebus udev-post; do  systemctl  disable ${SERVICES}
 
 ; done

三、網路配置

1.修改主機名

hostname  #檢視主機名
hostnamectl set-hostname  #修改主機名

2.配置虛擬機器網路模式

將叢集中虛擬機器，網路配置成橋接模式

$ip addr   #檢視ip地址

配置hosts檔案

#vim /etc/hosts           #編輯hosts檔案

在hosts檔案中新增 ip與hostname的對映
xxx.xxx.xxx.xxx namenode
xxx.xxx.xxx.xxx datanode1
xxx.xxx.xxx.xxx datanode2

四、SSH免密碼登入

1.設定ssh配置檔案

為了安全建議只使用金鑰登入，去掉預設的密碼登入

vim /etc/ssh/sshd_config

修改以下內容

Protocol 2              # 使用SSH2協議
RSAAuthentication yes # 啟用 RSA 認證
PubkeyAuthentication yes # 啟用公鑰私鑰配對認證方式
AuthorizedKeysFile .ssh/authorized_keys # 公鑰檔案路徑（和上面生成的檔案同）
PasswordAuthentication no # 禁止密碼驗證登陸（根據需要，不過一般啟用了金鑰，就不用密碼了）重啟Linux伺服器的ssh服務

service sshd restart

2.生成公私金鑰對

對於每臺主機，在hadoop使用者下執行以下命令

$ssh-keygen -t rsa -P ''

一路回車，生成的私鑰id_rsa 和公鑰id_rsa.pub預設在~/.ssh/下

將公鑰追加到authorized_keys ,確保ssh localhost無密碼登陸

修改許可權

3.配置節點之間可以ssh登陸

$scp id_rsa.pub hadoop@datanode1:/home/hadoop/

$scp id_rsa.pub hadoop@datanode2:/home/hadoop/

追加金鑰