1. 程式人生 > >【Hadoop基礎教程】1、Hadoop之伺服器基礎環境搭建

【Hadoop基礎教程】1、Hadoop之伺服器基礎環境搭建

本blog以K-Master伺服器基礎環境配置為例分別演示使用者配置、sudo許可權配置、網路配置、關閉防火牆、安裝JDK工具等。使用者需參照以下步驟完成KVMSlave1~KVMSlave3伺服器的基礎環境配置。

開發環境

硬體環境:Centos 6.5 伺服器4臺(一臺為Master節點,三臺為Slave節點)
軟體環境:Java 1.7.0_45、hadoop-1.2.1

1、安裝環境

硬體環境:Centos 6.5 伺服器4臺(一臺為Master節點,三臺為Slave節點)

軟體環境:Java 1.7.0_45、hadoop-1.2.1

2、 使用者配置

1)新增一個使用者

[[email protected] hadoop]$ adduser hadoop                       #新建hadoop使用者
[[email protected] hadoop]$ passwd hadoop                            #hadoop使用者設定密碼

2)建工作組

[[email protected] hadoop]$ groupadd hadoop                      #新建hadoop工作組

3)給已有的使用者增加工作組

[[email protected]
hadoop]$ usermod -G hadoop hadoop

2、 sudo許可權配置

1)新建個使用者組admin

[[email protected] hadoop]# groupadd admin

2)將已有使用者新增到admin使用者組

[[email protected] hadoop]# usermod -G admin,hadoop hadoop

3)賦予修改/etc/sudoers檔案寫許可權

[[email protected] hadoop]# chmod u+w /etc/sudoers 

4)編輯/etc/sudoers檔案

[[email protected] hadoop]# vi /etc/sudoers
預設只有一條配置: 
root    ALL=(ALL) ALL 
在下邊再加一條配置: 
%admin    ALL=(ALL) ALL

這樣admin使用者組就擁有了sudo許可權,屬於admin使用者組的hadoop使用者同樣擁有了sudo許可權。

5)編輯完成後降低許可權

[[email protected] hadoop]$ chmod u-w /etc/sudoers

3、 網路配置

1)配置IP地址
配置IP地址

詳細配置資訊如下所示:

[[email protected] hadoop]$ su hadoop                #切換為hadoop使用者
[[email protected] hadoop]$ sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0
HWADDR=06:8D:30:00:00:27
TYPE=Ethernet
BOOTPROTO=static
IPADDR=192.168.100.147
PREFIX=24
GATEWAY=192.168.100.1
DNS1=192.168.100.1
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME=eth0
UUID=660a57a1-5edf-4cdd-b456-e7e1059aef11
ONBOOT=yes
LAST_CONNECT=1411901185

2)重啟網路服務使網路設定生效

[[email protected] hadoop]$ sudo service network restart
Shutting down interface eth0:  Device state: 3 (disconnected)
                                                    [  OK  ]
Shutting down loopback interface:                   [  OK  ]
Bringing up loopback interface:                     [  OK  ]
Bringing up interface eth0:  Active connection state: activated
Active connection path: /org/freedesktop/NetworkManager/ActiveConnection/1
                                                    [  OK  ]

3)測試IP網路配置

通過ifconfig命令檢視網路的ip地址,如下資訊顯示eth0無線網絡卡的IP地址為192.168.100.147,與上述我們配置的IP地址吻合,表明IP地址配置成功。

[[email protected] ~]$ ifconfig
eth0  Link encap:Ethernet  HWaddr 06:8D:30:00:00:27
  inet addr:192.168.100.147  Bcast:192.168.100.255  Mask:255.255.255.0
  inet6 addr: fe80::48d:30ff:fe00:27/64 Scope:Link
  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
  RX packets:59099169 errors:0 dropped:0 overruns:0 frame:0
  TX packets:30049168 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:1000
  RX bytes:12477388443 (11.6 GiB)  TX bytes:8811418526 (8.2 GiB)

loLink encap:Local Loopback
  inet addr:127.0.0.1  Mask:255.0.0.0
  inet6 addr: ::1/128 Scope:Host
  UP LOOPBACK RUNNING  MTU:16436  Metric:1
  RX packets:2266013 errors:0 dropped:0 overruns:0 frame:0
  TX packets:2266013 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:0
  RX bytes:666482169 (635.6 MiB)  TX bytes:666482169 (635.6 MiB)

4)修改Host主機名

[[email protected] hadoop]$ sudo vi /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=Master
[[email protected] hadoop]$ sudo vi /etc/hosts
127.0.0.1               localhost.localdomain
::1                     hdirect30 hdirect30
192.168.100.201         K-Master

5)重啟主機使得主機名生效

[[email protected] hadoop]$ sudo reboot

4、 關閉防火牆

在啟動前關閉叢集中所有機器的防火牆,不然會出現datanode開後又自動關閉。

1)檢視防火牆狀態

[[email protected] ~]$ sudo service iptables status
iptables: Firewall is not running.

2)關閉防火牆

[[email protected] hadoop]$ sudo service iptables stop
iptables: Setting chains to policy ACCEPT: filter   [  OK  ]
iptables: Flushing firewall rules:                  [  OK  ]
iptables: Unloading modules:                        [  OK  ]

3)永久關閉防火牆

[[email protected] hadoop]$ sudo chkconfig iptables off

4)關閉SELINUX

[[email protected] hadoop]$ sudo vi /etc/selinux/config
SELINUX=disabled

5、 安裝JDK工具

1)解壓

[[email protected] ~]$ scp [email protected]:/home/hadoop/jdk-7u65-linux-x64.rpm .
[[email protected] ~]$ sudo rpm -ivh jdk-7u65-linux-x64.rpm

2)編輯”/etc/profile”檔案,在後面新增Java的”JAVA_HOME”、”CLASSPATH”以及”PATH”內容。

[[email protected] ~]$ sudo vim /etc/profile
#JAVA
export JAVA_HOME=/usr/java/jdk1.7.0_65
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
#HADOOP
export HADOOP_HOME=/usr/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME_WARN_SUPPRESS=1

3)使配置檔案生效

[[email protected] ~]$ source /etc/profile

您可能喜歡