2. 程式人生 > >虛擬機搭建Hadoop集群

虛擬機搭建Hadoop集群

阿新 • • 發佈：2018-06-10
openss 正常 orien gac 使用 encoding text 外網 source

安裝包準備

操作系統：ubuntu-16.04.3-desktop-amd64.iso

軟件包：VirtualBox

安裝包：hadoop-3.0.0.tar.gz，jdk-8u161-linux-x64.tar.gz

1. 環境準備

使用VirtualBox和下載的ubuntu鏡像文件新建三個Ubuntu操作環境，具體配置如下：

用戶 內存(G) 磁盤空間(G)
hadoop01 1.5 10
hadoop02 1.5 10
hadoop03 1.5 10

2. 網絡環境準備

點擊VirtualBox右側“全局工具->主機網絡管理器”，點擊新建，並且勾選DHCP服務器中的啟用服務器，其余的按照默認配置點擊應用即可，這個過程相當於在VirtualBox中創建了一個名稱為vboxnet0的路由器：

技術分享圖片

關閉創建的每一臺虛擬機，然後分別選中每一臺虛擬機，點擊“設置->網絡->網卡2”，啟用網絡連接，並且選擇連接方式為“僅主機(Host-Only)網絡”，界面名稱為剛剛創建的vboxnet0。

技術分享圖片

這裏需要註意一定要在關閉虛擬機的狀態下配置網卡2，因為在運行過程中的虛擬機是不允許配置網卡的。另外，這裏網卡1和網卡2的區別在於網卡1用於供給虛擬機連接外部網絡的，虛擬機通過網卡1連接VirtualBox，再通過VirtualBox連接外網；網卡2則相當於提供了一個路由器，供給三臺虛擬機相互之間以及與主機之間進行連接的。

打開一臺虛擬機，執行以下命令安裝vim（默認情況下，Ubuntu是不帶vim的）：

sudo apt-get install -y vim

執行以下命令查看當前網絡地址：

ifconfig

技術分享圖片

將如下配置添加到/etc/network/interfaces文件中，為當前虛擬機配置靜態ip：

auto enp0s8
iface enp0s8 inet static
address 192.168.56.4
netmask 255.255.255.0
gateway 192.168.1.1
dns-nameservers 202.120.111.3

如此按照上述方式對另外兩臺虛擬機配置網絡環境即可。

這裏三臺虛擬機的用戶與ip分別配置如下：

用戶 ip
hadoop01 192.168.56.4
hadoop02 192.168.56.3
hadoop03 192.168.56.8

3. SSH免密登錄

由於Ubuntu沒有ssh客戶端，可以執行如下命令為每臺虛擬機安裝ssh客戶端：

sudo apt-get install -y openssh-server

安裝完成後執行如下命令生成ssh公鑰：

ssh-keygen -t rsa

該命令執行期間一直按回車即可。公鑰生成後會在用戶目錄~下生成一個.ssh文件夾，裏面包含id_rsa和id_rsa.pub兩個文件。

將三臺虛擬機生成的id_rsa.pub文件中的內容都復制到同一個文件中，命名為authorized_keys，並且將該文件在每臺虛擬機的.ssh文件夾下都創建一份，該文件相當於為其中的每個公鑰所指代的機器提供ssh登錄的權限，由於三臺虛擬機的authorized_keys都有各自的公鑰，因而其相互之間可以通過ssh免密登錄。示例authorized_keys文件如下：

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDFez1asGIktruVI53uJHT3s8UZHoIi3X98G5mFV/7+MAs8xXeXV7HbHfi2FfJnMl/qTY/W4VZWdoFLizDBrtUDHTtigVxs5uK4re8qlvSApmqy9Xi0c+qpLKHSeFBpCSqKgngrwE/+DOFnkkTSH/hv6bIpGPTYArpOXdY203vyt6/MM/HKed0WeAcDbCdfKjke4Q2IHi6APghwjML3oD1N0rNGU28SRc8iGdg+vGp6Ajkr034VZCx7fY/BmjYhxPvJ6c5hnVSwqik05xdw2Dh+6eLkiOOnO1LknFw7KdFqa1435sOxxHhar8+ELiKu/mYzVcZMizN0AiPQGxjP96fl hadoop01@hadoop01
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDDCXKskhH0VFzh8KrJt3PmbR/Yxbgv5le4iEdvIPWWXAC7XDuPGrz1XH/ZYlZWauyV/LsMN3qjbeHzyfeuuNuV6Skpy/lofsIO88/XH0NFYcAxQtIQfSLwbOGVWziibOPY+gI8Bnzeb7hAYk10V2cI26hKWMpEHxOu/lCxcNuM5Y+CBs2kx2KzzvwgUjF12P6Jz4+SguCERi+Cz1JQ0YuXHBRLXGgwXMRyYUlC3KxIvyeZzI0+Gpew4nTFFXBoDIEaWn9Ma8+AcHNm9ejnO9ChSCN3zXJf7nnaXKUmi5jyQu88e+qmhDt2Pzj0E/kaKRkxso7e+sgHMBp8eXpJu/eT hadoop02@hadoop02
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCm4yk0TVpfhU0jSf4PMH60fOhMYrxCI9DeG/tcs0LTAUHGatuY3XRd6X3B5tShUlCvr9M1DVRgszk0Nz9VOzgqFsIXUxJLAir4dQIj+nVY0QcyTwzwbqm93YDZfaoYrO9xgEriZ6XVK78bWc8bMWpc9z35Kp4U6ytTQUufVwnsVXgAcBN6rQ/ZZFiJvCwnsZDtNsT/zVNWdrnVMKFbm+0rQHzt+jQEgfunwQeEkj8G21iPMpG9MxuHLmzOx+7XaxNLl/P2oHto8lQJgm0DYLJy6JLPa3rkd+NuBxYoqRxr1A1eC/7f3480bz+HHym5e0dSh8HuG3XJihIoR1SLm1Sd hadoop03@hadoop03

按照上述配置完成之後，可使用如下命令在一臺虛擬機上登錄另外兩臺虛擬機（這裏hadoop02和hadoop03為目標機器的用戶，@符號後的內容為目標機器的ip地址）：

ssh [email protected]
ssh [email protected]

這裏需要註意，如此配置之後即可按照上述方式使用ssh登錄免密登錄其他機器，但是這種配置還不完全夠，因為在後續使用hive和hbase的過程中，其集群內部是使用如下方式登錄的：

ssh hadoop02
ssh hadoop03

這種登錄方式其實可以理解為別名登錄，其將hadoop02指代為[email protected]，在ssh中可以通過配置config文件來設置別名，該config文件放置在.ssh文件夾下即可，具體的配置如下：

Host hadoop02
 hostname 192.168.56.3
 user hadoop02

Host hadoop03
 hostname 192.168.56.8
 user hadoop03

4. jdk和Hadoop安裝

需要說明的是如下jdk和hadoop安裝只是一臺虛擬機上的配置，其余兩臺虛擬機的配置方式與其類似。

將下載的jdk和Hadoop安裝包使用tar命令解壓，如：

tar -zxvf jdk-8u161-linux-x64.tar.gz

使用ln命令為jdk和hadoop解壓包創建軟連接，創建軟連接的優點在於如果後續需要更改jdk或者Hadoop的版本，只需要把軟連接指向新的解壓目錄即可，而不需要到處更改配置的環境變量，因為環境變量都是基於軟連接配置的：

ln -s jdk1.8.0_161 jdk
ln -s hadoop-3.0.0 hadoop

創建軟連接之後的目錄結構如下所示：

drwxrwxr-x  5 hadoop01 hadoop01 4096 2月  23 17:46 ./
drwxr-xr-x 19 hadoop01 hadoop01 4096 2月  23 20:46 ../
lrwxrwxrwx  1 hadoop01 hadoop01   12 2月  22 22:24 hadoop -> hadoop-3.0.0/
drwxr-xr-x 12 hadoop01 hadoop01 4096 2月  23 10:24 hadoop-3.0.0/
lrwxrwxrwx  1 hadoop01 hadoop01   12 2月  22 22:06 jdk -> jdk1.8.0_161/
drwxr-xr-x  8 hadoop01 hadoop01 4096 12月 20 08:24 jdk1.8.0_161/

編輯用戶目錄下的.profile文件，在其中加上如下內容：

export JAVA_HOME=/home/hadoop01/xufeng.zhang/jdk
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export HADOOP_HOME=/home/hadoop01/xufeng.zhang/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CLIENT_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

保存之後，使用如下source命令才能使編輯的環境變量生效：

source ~/.profile

使用java -version命令查看配置的Java運行環境是否正常：

hadoop01@hadoop01:~/xufeng.zhang$ java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

使用hadoop version命令查看Hadoop是否配置正確：

hadoop01@hadoop01:~/xufeng.zhang$ hadoop version
Hadoop 3.0.0
Source code repository https://git-wip-us.apache.org/repos/asf/hadoop.git -r c25427ceca461ee979d30edd7a4b0f50718e6533
Compiled by andrew on 2017-12-08T19:16Z
Compiled with protoc 2.5.0
From source with checksum 397832cb5529187dc8cd74ad54ff22
This command was run using /home/hadoop01/xufeng.zhang/hadoop-3.0.0/share/hadoop/common/hadoop-common-3.0.0.jar

對於另外兩臺虛擬機，可以按照上述方式進行類似的配置即可。

5. Hadoop集群環境的搭建

Hadoop集群的配置，主要有如下幾個文件需要修改：

core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
hadoop-env.sh
core-site.xml的配置如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.56.3:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop01/xufeng.zhang/hadoop/tmp</value>
  </property>
  <property>
    <name>fs.trash.interval</name>
    <value>10080</value>
  </property>
</configuration>
hdfs-site.xml的配置如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
  </property>
  <property>
    <name>dfs.http.address</name>
    <value>192.168.56.3:50070</value>
  </property>
  <property>
    <name>dfs.secondary.http.address</name>
    <value>192.168.56.4:50090</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop01/xufeng.zhang/hadoop/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop01/xufeng.zhang/hadoop/data/datanode</value>
  </property>
</configuration>
mapred-site.xml的配置
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>192.168.56.3:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>192.168.56.3:19888</value>
  </property>
  <property>
    <name>mapreduce.job.ubertask.enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
</configuration>

這裏需要註意的是，yarn.app.mapreduce.am.env，mapreduce.map.env和mapreduce.reduce.env三個參數一定要配上，否則在運行MapReduce任務時會報如下錯誤：

Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
yarn-site.xml的配置
<?xml version="1.0"?>
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>192.168.56.4</value>
  </property>
  <property>
    <name>yarn.web-proxy.address</name>
    <value>192.168.56.4:8888</value>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>
  <property>
    <name>yarn.application.classpath</name>
    <value>
      $HADOOP_CLIENT_CONF_DIR,
      $HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*,
      $HADOOP_COMMON_HOME/lib/*,
      $HADOOP_HDFS_HOME/*,
      $HADOOP_HDFS_HOME/lib/*,
      $YARN_HOME/*,
      $YARN_HOME/lib/*
    </value>
  </property>
</configuration>
hadoop-env.sh的配置

這裏需要著重強調hadoop-env.sh的配置，因為該配置是比較容易掉的配置，而且在執行任務的過程中沒有該配置則會報找不到環境變量的錯誤。該配置文件中主要需要配置JAVA_HOME參數，如：

# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
export JAVA_HOME=/home/hadoop01/xufeng.zhang/jdk

可以看到，在該文件中已經說明了除了OS X操作系統可以部配該變量外，其余的操作系統都需要配置。

如此，單個虛擬機上的Hadoop集群環境配置即完成了，其余的虛擬機集群環境配置和上述操作基本一致。這裏有一個簡便的方式，即將當前虛擬機上的配置文件拷貝到另外兩臺虛擬機，並且替換其Hadoop的配置文件，替換後只需要更改其中有關路徑的配置，如core-site.xml的hadoop.tmp.dir更改為對應虛擬機的路徑即可。

6. 集群啟動

集群啟動之前需要對集群每個節點的NameNode進行格式化，即初始化NameNode的相關存儲環境信息。格式化命令如下：

hadoop namenode -format

格式化完成之後，分別在每臺機器上執行如下命令即可啟動Hadoop，該命令是Hadoop的sbin目錄下的一個命令，在進行環境變量配置時已將其添加到了PATH裏了：

start-all.sh

如果需要關閉Hadoop，可執行如下命令：

stop-all.sh

啟動完成後可以使用如下命令在每臺機器上查看Hadoop是否成功啟動了：

jps

各節點的啟動信息如下：

hadoop01@hadoop01:~/xufeng.zhang/hadoop/etc/hadoop$ jps
3680 Jps
3154 NodeManager
2627 DataNode
2788 SecondaryNameNode
3381 WebAppProxyServer
3038 ResourceManager
hadoop02@hadoop02:~$ jps
2883 Jps
2035 NameNode
2659 NodeManager
2152 DataNode
hadoop03@hadoop03:~$ jps
2083 DataNode
2759 Jps
2525 NodeManager

可以看到這裏hadoop02機器為主NameNode節點，hadoop01為副NameNode節點；hadoop01，hadoop02和hadoop03都為DataNode節點。這裏也可以打開如下鏈接查看各個節點的運行情況：

http://192.168.56.4:8088/

技術分享圖片

http://192.168.56.3:50070/

技術分享圖片

7. 結語

本文主要講解了如何通過虛擬機搭建一個有三個DataName，一個主NameNode和一個SecondaryNameNode的Hadoop集群，並且講解了在配置過程中可能會出現的問題。本人在集群的搭建過程中出現了很多問題，通過不斷的查資料，最終將集群搭建起來並成功運行了MapReduce任務。這裏做一個總結，一是分享給閱讀者，以減少其出錯的概率，二是方便後續自己再次搭建時有資料可查。

虛擬機搭建Hadoop集群

相關推薦

虛擬機搭建Hadoop集群

openss 正常 orien gac 使用 encoding text 外網 source 安裝包準備 操作系統：ubuntu-16.04.3-desktop-amd64.iso 軟件包：VirtualBox 安裝包：hadoop-3.0.0.tar.gz，jdk-8u

vmware搭建hadoop集群完整過程筆記

器） 修改文件權限 配置環境 chmod 出現問題 2.6.0 img key文件 無權限 搭建hadoop集群完整過程筆記 一、虛擬機和操作系統 　　環境：ubuntu14+hadoop2.6+jdk1.8 　　虛擬機：vmware12 二、安裝步驟： 先在一臺機器上

ubuntu16.04搭建hadoop集群環境

address hadoop 集群 所有 ipv ret 加載文件 keygen -- manager 1. 系統環境Oracle VM VirtualBoxUbuntu 16.04Hadoop 2.7.4Java 1.8.0_111master：192.168.19.12

Amabari搭建Hadoop集群(一)

hdp ambari 一、系統環境1.系統版本[root@manager ~]# cat /etc/centos-release CentOS Linux release 7.4.1708 (Core)2.主機規劃主機名IP地址角色manager192.168.10.131ambari-serverv

Amabari搭建Hadoop集群(二)

amabr hdp 一、進入登陸頁面1.在瀏覽器中輸入ambari-server端地址，初始賬戶和密碼都是admin2.登陸後進入向導界面，點擊Launch Install Wizard3.設置集群名稱二、安裝相關組件1.選擇HDP版本，註意選擇使用本地源2.輸入其他節點的主機名或IP，並選擇SSH配

虛擬機搭建Hadoop

虛擬機搭建Hadoop最近學習搭建hadoop,通過邊查資料邊搭建，花了半天也搭建好了，借此寫下搭建總結，在這裏感謝博友【數據放大鏡】的文章，很不錯，就是按照他的步驟搭建下來的，在這裏，自己完善了一下，不說了，直接開搞：Ps:由於自己的本本配置略差，所以只裝了3個虛擬機 1：工具列表Linux

新手入門篇：虛擬機搭建hadoop環境的詳細步驟

文檔 優勢 indent gic 地址 完成 align 頁面 一段 前兩天看到有人留言問在什麽情況下需要部署hadoop，我給的回答也很簡單，就是在需要處理海量數據的時候才需要考慮部署hadoop。關於這個問題在很早之前的一篇分享文檔也有說到這個問題，數據量少的完全發揮不

Linux 搭建Hadoop集群 ----workcount案例

oms 配置參數 org 自己 exception http user 缺少文件 msg 在 Linux搭建集群---JDK配置 Linux搭建集群---SSH免密登陸 Linux搭建集群---集群搭建成功 的基礎上實現workcount案例 註意 虛擬機三臺啟動集群

虛擬機搭建hadoop的步驟

安裝jdk http 兩個 java https get details 虛擬 系統 1.首先是安裝Vmware Workstation，參考鏈接： 2.安裝Linux，我在Vmware Workstation中裝的是兩個centos 7系統，分別步驟可參考： 3.安裝好L

CDH搭建Hadoop集群(Centos7)

local 配置 tp服務器 order zxvf false 一個用戶 指向 comm 一、說明 節點(CentOS7.5) Server || Agent CPU node11 Server || Agent 4G nod

Hadoop集群搭建二（Linux虛擬機）

AI .org vmware 完成 devices 所有 版本選擇 windows 點擊 搭建Linux虛擬機 VMware虛擬機安裝Linux 系統 1、首先打開網易開源鏡像站: http://mirrors.163.com/ 當然，大家也可以使用阿裏開源鏡像站

Hadoop集群搭建(非HA)

圖形界面 網絡模式 jdk 初始 hadoop2 orm 一個 程序猿 添加 1.準備Linux環境 1.0先將虛擬機的網絡模式選為NAT 1.1修改主機名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=i

Hadoop集群搭建筆記

reduce ati prompt ucc xshell 格式化 load obj apache 1、安裝虛擬機 VMware workstation CentOS 鏡像 安裝Linux虛擬機：（在Win7上） 1）安裝VMwareWorkstations（可

Hadoop集群搭建(三) Hbase

hbase hadoop hdfs 前面已經完成Zookeeper和HDFS的安裝，本文會詳細介紹Hbase的安裝步驟。以及安裝過程中遇到問題的匯總。Hadoop集群搭建(一) ZookeeperHadoop集群搭建(二) HDFS下面開始Hbase的安裝。Hbase的服務器規劃192.168.6

Hadoop集群搭建

hadoop集群 manage 臨時 status shuffle centos6 添加 jdk8 ast 1.集群簡介 Hadoop集群具體來說包括兩個集群：HDFS集群和YARN集群，兩者邏輯上分離，但物理上常在一起。 HDFS集群：負責海量數據的存儲，集群中的角色主要

Hadoop學習之路（四）Hadoop集群搭建和簡單應用

get allocated reduce plugins caching handle ces -h per 概念了解 主從結構：在一個集群中，會有部分節點充當主服務器的角色，其他服務器都是從服務器的角色，當前這種架構模式叫做主從結構。 主從結構分類： 1、一主多從

Hadoop學習之路（五）Hadoop集群搭建模式和各模式問題

數據 場景 模式 問題 沒有 問題： 重裝 故障 style 分布式集群的通用問題 當前的HDFS和YARN都是一主多從的分布式架構，主從節點---管理者和工作者 問題：如果主節點或是管理者宕機了。會出現什麽問題？ 群龍無首，整個集群不可用。所以在一主多從的架構中都會

4.Hadoop集群搭建之啟動

urn 生成 狀態 CP data 其他 sla site 驗證 配置好Hadoop、HDFS、YARN、Zookeeper集群後，需要按照順序啟動。 前期準備 配置好Hadoop、HDFS、YARN、Zookeeper集群 先stop掉所有的hadoop服務 使用jp

Linux上安裝Hadoop集群(CentOS7+hadoop-2.8.0)--------hadoop環境的搭建

html -a 總結 全分布式 .html oop details clas HR Linux上安裝Hadoop集群(CentOS7+hadoop-2.8.0)------https://blog.csdn.net/pucao_cug/article/details/716

hadoop集群管理系統搭建安裝規劃說明

關於 RoCE mil 平臺 管理系 業務 好的 技術 超過 Hadoop分布式集群環境搭建是每個入門級新手都非常頭疼的事情，因為你可能花費了很久的時間在搭建運行環境，最終卻不知道什麽原因無法創建成功。但對新手來說，運行環境搭建不成功的概率還蠻高的。在之前的分享文章中給ha