1. 程式人生 > >CentOS6.5搭建hadoop完全分散式叢集

CentOS6.5搭建hadoop完全分散式叢集

搭建完全分散式叢集

-------------------------------

前提條件:已經按照之前的步驟搭建完偽分散式。https://blog.csdn.net/weixin_42006411/article/details/80500217

搭建hadoop偽分散式連結:點選開啟連結

方法:克隆虛擬機器。
  1.修改靜態ip
    a.刪除之前的mac地址,記錄現在的mac地址,並修改name為eth0
$ sudo vim /etc/udev/rules.d/70-persistent-net.rules
# PCI device 0x8086:0x100f (e1000)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:68:98:59", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
    b.修改/etc/sysconfig/network-script/ifcfg-eth0配置檔案
$ sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0
HWADDR=00:0c:29:68:98:59#mac地址需要修改
IPADDR=192.168.136.22#ip地址需要改
  2.修改主機名
    $ sudo vim /etc/sysconfig/network
  3.新增ip地址和主機名的對映ip 主機名
    $ sudo vim /etc/hosts
    重啟虛擬機器
    $ reboot
  4.ssh無密登入(略)
  5.jdk安裝(略)
  6.hadoop安裝
    (在master節點上修改hadoop檔案,修改完後,再把其他slave節點上的hadoop檔案刪除,最後用scp命令把master節點上的hadoop檔案拷貝到slave節點上,有軟連線的需要刪掉重新建)
    a.core-site.xml
    b.hdfs-site.xml
    c.mapred-site.xml
    d.yarn-site.xml
    e.hadoop-env.sh
    f.yarn-env.sh
    g.slaves
      刪除localhost
      新增:
      slave1
      slave2
    h.刪除之前home/hadoop/tmp/hadoop目錄下的檔案,重新格式化名稱節點
      $>cd /home/hadoop/tmp/hadoop
      $>rm -rf dfs
  7.格式化名稱節點  
    $>hdfs namenode -format 
  8.開啟hadoop
    $>start-dfs.sh
    $>start-yarn.sh
  9.檢視程序:
    master:namenode,secondarynamenode,resourcemanager
    slave1:datanode,nodemanager
    slave2:datanode,nodemanager