CentOS6.5搭建hadoop完全分散式叢集
阿新 • • 發佈:2018-12-27
搭建完全分散式叢集
-------------------------------
前提條件:已經按照之前的步驟搭建完偽分散式。https://blog.csdn.net/weixin_42006411/article/details/80500217
搭建hadoop偽分散式連結:點選開啟連結
方法:克隆虛擬機器。1.修改靜態ip
a.刪除之前的mac地址,記錄現在的mac地址,並修改name為eth0
$ sudo vim /etc/udev/rules.d/70-persistent-net.rules
# PCI device 0x8086:0x100f (e1000)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:68:98:59", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
b.修改/etc/sysconfig/network-script/ifcfg-eth0配置檔案
$ sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0
HWADDR=00:0c:29:68:98:59#mac地址需要修改
IPADDR=192.168.136.22#ip地址需要改
2.修改主機名
$ sudo vim /etc/sysconfig/network
3.新增ip地址和主機名的對映ip 主機名
$ sudo vim /etc/hosts
重啟虛擬機器
$ reboot
4.ssh無密登入(略)
5.jdk安裝(略)
6.hadoop安裝
(在master節點上修改hadoop檔案,修改完後,再把其他slave節點上的hadoop檔案刪除,最後用scp命令把master節點上的hadoop檔案拷貝到slave節點上,有軟連線的需要刪掉重新建)
a.core-site.xml
b.hdfs-site.xml
c.mapred-site.xml
d.yarn-site.xml
e.hadoop-env.sh
f.yarn-env.sh
g.slaves
刪除localhost
新增:
slave1
slave2
h.刪除之前home/hadoop/tmp/hadoop目錄下的檔案,重新格式化名稱節點
$>cd /home/hadoop/tmp/hadoop
$>rm -rf dfs
7.格式化名稱節點
$>hdfs namenode -format
8.開啟hadoop
$>start-dfs.sh
$>start-yarn.sh
9.檢視程序:
master:namenode,secondarynamenode,resourcemanager
slave1:datanode,nodemanager
slave2:datanode,nodemanager