1. 程式人生 > >hadoop集群搭建前的準備

hadoop集群搭建前的準備

linux .gz 域名映射 restart ava 技術 成功 配置環境 bcb

1. 修改主機名:

[root@localhost home]# sudo vi /etc/sysconfig/network
修改主機名:
技術分享圖片

2. 設置系統默認啟動級別:

[root@localhost home]#vi /etc/inittab
改默認啟動級別,3 是多用戶模式,並且不啟動圖形界面
技術分享圖片

3. 配置 hadoop 用戶 sudoer 權限:

這裏使用普通用戶hadoop,對Linux進行操作:
創建hadoop用戶
[root@localhost home]# useradd hadoop
[root@localhost home]# passwd hadoop
對hadoop用戶權限設置
[root@localhost home]# vi /etc/sudoers

技術分享圖片
加入:hadoop ALL=(ALL) ALL

4. 配置 IP:

[root@localhost home]# system-config-network #使用這個命令,之後傻瓜式配置

5. 關閉防火墻/關閉 Selinux

註意:這裏是測試環境,所以直接關閉,如果是生產環境,請票配置防火墻策略
查看防火墻狀態:service iptables status
關閉防火墻:service iptables stop
開啟防火墻:service iptables start
重啟防火墻:service iptables restart
關閉防火墻開機啟動:chkconfig iptables off
開啟防火墻開機啟動:chkconfig iptables on

永久關閉selinux
[root@localhost home]# vim /etc/selinux/config
技術分享圖片

6. 添加內網域名映射

這裏是根據自己的集群,以及IP去設置主機名和ip地址的映射關系:
[root@localhost home]#vi /etc/hosts
技術分享圖片

7. 安裝 JDK

由於hadoop是用java編寫的,所以在搭建hadoop平臺前,一定要保證有java的環境

  • 上傳 jdk-8u73-linux-x64.tar.gz
  • tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local #解壓到/usr/local 目錄下
  • 配置環境變量 vi /etc/profile:
    加入export JAVA_HOME=/usr/local/jdk1.8.0_73
    export PATH=$PATH:$JAVA_HOME/bin
  • source /etc/profile
  • 檢測是否安裝成功,輸入命:java -version
    技術分享圖片

    8. 同步服務器時間

    由於是hadoop分布式的,每臺集群之間需要通信,所以時間的同步時非常重要的步驟:
    這裏使用的是定時任務的方式,進行定期的同步時間:
    [root@localhost home]#crontab -e
    加入:
    /5 /usr/sbin/ntpdate cn.pool.ntp.org >/dev/null 2>&1 #每5分鐘同步一次

    9. 配置免秘鑰登錄:

    在集群規劃之後的所有的節點下都需要配置,相互之間進行免秘鑰登錄:
    這裏一定要切換到hadoop用戶下,因為免秘鑰登錄是針對用戶的:
    [hadoop@localhost home] ssh-keygen -t rsa
    [hadoop@localhost home]ssh-copy-id hostname
    使用上面兩個命令實現免秘鑰登錄,一定註意,配置完成之後,需要測試。登錄到其他的主機看看是否需要密碼:
    技術分享圖片


這裏提示一下:小編後續文章中的集群是3臺測試機,主機名分別是:hadoop01、hadoop02、hadoop03,IP地址根據自己的網絡配置,能ping通外網即可。

註意以上的9步完成之後,在看小編下面的文章,hadoop分布式和HA的集群搭建,不然會出現問題!!!

hadoop集群搭建前的準備