2. 程式人生 > >Hadoop集群搭建

Hadoop集群搭建

阿新 • • 發佈：2018-01-30
hadoop集群 manage 臨時 status shuffle centos6 添加 jdk8 ast

1.集群簡介

Hadoop集群具體來說包括兩個集群：HDFS集群和YARN集群，兩者邏輯上分離，但物理上常在一起。
HDFS集群：負責海量數據的存儲，集群中的角色主要有NameNode/DataNode
YARN集群：負責海量數據運算時的資源調度，集群中的角色主要有ResourceManage/NodeManager

2.服務器準備

操作系統：

虛擬機系統 節點 域名/IP地址
Centos6 NameNode/ResourceManage Master/192.168.1.10
Centos6 DataNode/NodeManageer Salve11/192.168.1.11
Centos6 DataNode/NodeManageer Salve12/192.168.1.12
Centos6 DataNode/NodeManageer Salve13/192.168.1.13

Java版本
java version "1.8.0_151"
Hadoop版本

3.網絡環境準備

3.1.設置IP地址

分別設置節點IP，在每個節點上執行一下步驟：
vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改如下：

DEVICE=eth0
HWADDR=08:00:27:53:7E:9D
TYPE=Ethernet
UUID=c8127b91-f551-4630-a272-babb99157433
ONBOOT=yes #使用yes
NM_CONTROLLED=yes
BOOTPROTO=static #使用靜態方法
IPADDR=192.168.1.10 #指定ip地址
NETMASK=255.255.255.0 #指定子網掩碼
GATEWAY=

重啟網絡服務：
service network restart

3.2.設置域名

修改域名
打開vi /etc/sysconfig/network：
編輯：

NETWORKING=yes
HOSTNAME=master    ##此處修改域名

重啟設備reboot。
註意，在每個節點上配置不同的網絡ip和域名。配置的ip地址在上面的表格中。

4.SSH免登陸設置

4.1.修改hosts文件

分別在每個節點添加域名到ip地址的映射
打開：vi /etc/hosts
編輯：

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

#添加以下內容
192.168.1.10 master
192.168.1.11 salve11
192.168.1.12 salve12
192.168.1.13 salve13

4.2.設置節點之間的免登錄

每個節點上執行如下命令：
ssh-keygen -t rsa,產生鑰匙，輸入後一直回車

ssh-copy-id -i master
ssh-copy-id -i salve11
ssh-copy-id -i salve12
ssh-copy-id -i salve13

4.3.關閉節點防火墻

  • 查看防火墻狀態
    service iptables status
  • 關閉防火墻
    service iptables stop
  • 查看防火墻開機啟動狀態
    chkconfig iptables --list
  • 關閉防火墻開機啟動
    chkconfig iptables off

4.4.關閉SELinux

  • 查看SELinux狀態
    getenforce
  • 臨時開啟SELinux
    setenforce 1

  • 開機關閉SELinux
    編輯/etc/selinux/config文件，將SELINUCX的值設置位disabled

    # This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disable #設置為不隨開機啟動
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

    註意：此時也不能通過setenforce 1命令臨時開打。

5.Java環境安裝

5.1.下載java jdk安裝包

點擊：Java SE Development Kit 8 下載，下載適用於linux系統的java8 的JDK套件。
下載時要先選擇接受許可協議，並下載64位的：dk-8u151-linux-x64.rpm。
技術分享圖片

5.2.linux上安裝

上傳到linux系統，使用rpm -ivh dk-8u151-linux-x64.rpm進行安裝。

5.3.添加java資源路徑

安裝之後,添加java的資源路徑：
vi /etc/profile
在文件最後添加如下：

export JAVA_HOME=/usr/java/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

更新配置：
source /etc/profile

5.4.測試java環境

測試java環境，執行java -version，即可查看java的版本。
如下：

[root@node101 ~]# java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

6.Hadoop安裝部署

1.6.1.下載Hadoop

在apache的官網下載Hadoop,選擇版本2.7.5，使用binary安裝。如下圖：
技術分享圖片

下載後，傳輸到master上

6.2.安裝

在master上操作：
解壓hadoop：
tar -zxvf hadoop-2.7.5.tar.gz
移動到指定位置：
mv hadoop-2.7.5 /usr/hadoop

6.3.配置

在master上，進入到hadoop的安裝目錄：/usr/hadoop，再進入hadoop的環境配置目錄：/usr/hadoop/etc/hadoop。然後進行以下設置
1.修改Java路徑
vi hadoop-env.sh
在第27行，修改java的路徑，此處的路徑應該是上文設置的JAVA_HOME路徑。修改如下：
export JAVA_HOME=/usr/java/jdk1.8.0_151

2.修改core-site.xml

<configuration>
    <!-- 指定Hadoop所使用的文件系統schema，HDFS老大的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
   <!-- 指定Hadoop運行時產生的文件的存儲目錄 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
    </property>
</configuration>

3.修改hdfs-site.xml

<configuration>
    <!-- 指定HDFS副本的數量 -->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <!-- 指定HDFS系統namenode路徑 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/root/hadoop/dfs/name</value>
    </property>
    <!-- 指定HDFS系統datanode路徑 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/root/hadoop/dfs/data</value>
    </property>
    <!-- 指定HDFS系統secondarynamenode路徑 -->
    <property>
        <name>dfs.secondary.http.address</name>
        <value>192.168.1.10:50090</value>
    </property>
</configuration>

4.mapred-site.xml
如果mapred-site.xml文件不存在，需要復制一個過來：mv mapred-site.xml.template mapred-site.xml。

<configuration>
    <!-- 指定mr運行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5.修改yarn-site.xml

<configuration>
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>
<!-- reducer獲取數據的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
</configuration>

把在master上配置好的/usr/hadoop目錄分發到每個salve上。使用命令如下：
scp -r /usr/hadoop salve11:/usr/hadoop,
salve12和salve13同樣操作。

6.4.添加到環境變量

需要在每個節點添加Hadoop的環境，主要添加下面兩條：

export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin

到此為之，添加過java和hadoop，此時的/etc/profile自己添加的部分如下：

export JAVA_HOME=/usr/java/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

更新配置文件
source /etc/profile
每個節點上創建以下幾個目錄：
/root/hadoop/tmp
/root/hadoop/dfs/name
/root/hadoop/dfs/data

7.啟動集群

修改master節點上的以下文件：
vi /usr/hadoop/etc/hadoop/slaves
添加如下：

salve11
salve12
salve13

在master上執行以下命令開啟集群
先格式hadoop：
hdfs namenode -format
啟動hdfs:
/usr/hadoop/sbin/start-dfs.sh
再啟動yarn：
/usr/hadoop/sbin/start-yarn.sh
使用jps命令可以查看集群啟動是否成功。
在master上執行jps,返回如下，表示正確啟動：

[root@master hadoop]# jps
3393 Jps
2660 SecondaryNameNode
3111 ResourceManager
2471 NameNode

salve11等其他節點執行jsp,返回如下結果，表示正確啟動

[root@salve11 usr]# jps
2502 Jps
2380 NodeManager
2268 DataNode

可以通過網頁訪問查看
網頁訪問：http://192.168.1.10:50070
訪問後截圖如下：
技術分享圖片

8.其他

也可以單獨開啟一個節點的namenode或者datanode，使用命令如下：
hadoop-daemon.sh start namenode
或
hadoop-daemon.sh start datanode

Hadoop集群搭建

相關推薦

Hadoop集群搭建(非HA)

圖形界面 網絡模式 jdk 初始 hadoop2 orm 一個 程序猿 添加 1.準備Linux環境 1.0先將虛擬機的網絡模式選為NAT 1.1修改主機名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=i

Hadoop集群搭建筆記

reduce ati prompt ucc xshell 格式化 load obj apache 1、安裝虛擬機 VMware workstation CentOS 鏡像 安裝Linux虛擬機：（在Win7上） 1）安裝VMwareWorkstations（可

Hadoop集群搭建(三) Hbase

hbase hadoop hdfs 前面已經完成Zookeeper和HDFS的安裝，本文會詳細介紹Hbase的安裝步驟。以及安裝過程中遇到問題的匯總。Hadoop集群搭建(一) ZookeeperHadoop集群搭建(二) HDFS下面開始Hbase的安裝。Hbase的服務器規劃192.168.6

Hadoop集群搭建

hadoop集群 manage 臨時 status shuffle centos6 添加 jdk8 ast 1.集群簡介 Hadoop集群具體來說包括兩個集群：HDFS集群和YARN集群，兩者邏輯上分離，但物理上常在一起。 HDFS集群：負責海量數據的存儲，集群中的角色主要

Hadoop學習之路（四）Hadoop集群搭建和簡單應用

get allocated reduce plugins caching handle ces -h per 概念了解 主從結構：在一個集群中，會有部分節點充當主服務器的角色，其他服務器都是從服務器的角色，當前這種架構模式叫做主從結構。 主從結構分類： 1、一主多從

Hadoop學習之路（五）Hadoop集群搭建模式和各模式問題

數據 場景 模式 問題 沒有 問題： 重裝 故障 style 分布式集群的通用問題 當前的HDFS和YARN都是一主多從的分布式架構，主從節點---管理者和工作者 問題：如果主節點或是管理者宕機了。會出現什麽問題？ 群龍無首，整個集群不可用。所以在一主多從的架構中都會

Hadoop集群搭建二（Linux虛擬機）

AI .org vmware 完成 devices 所有 版本選擇 windows 點擊 搭建Linux虛擬機 VMware虛擬機安裝Linux 系統 1、首先打開網易開源鏡像站: http://mirrors.163.com/ 當然，大家也可以使用阿裏開源鏡像站

4.Hadoop集群搭建之啟動

urn 生成 狀態 CP data 其他 sla site 驗證 配置好Hadoop、HDFS、YARN、Zookeeper集群後，需要按照順序啟動。 前期準備 配置好Hadoop、HDFS、YARN、Zookeeper集群 先stop掉所有的hadoop服務 使用jp

BigData--hadoop集群搭建之zookeer安裝

其他 ron fault ntp time pro art 變量 tick Zookeeper安裝 cd /opt/ tar -zxvf zookeeper-3.4.10.tar.gzmv zookeeper-3.4.10 /opt/zookeeper修改配置文件cd /

hadoop集群搭建前的準備

linux .gz 域名映射 restart ava 技術 成功 配置環境 bcb 1. 修改主機名： [root@localhost home]# sudo vi /etc/sysconfig/network 修改主機名： 2. 設置系統默認啟動級別： [root@lo

hadoop 集群搭建-suse linux 11

初始 cto hadoop ha rop default gen webhdfs buffer etc 好久都沒寫了啊。感覺自己都不像是一個搞技術都了。來個存貨吧！ hadoop 集群搭建 3臺機器 suse 系統 規劃 IP 主機名 hostname hadoop

【原創 Hadoop&Spark 動手實踐 5】Spark 基礎入門，集群搭建以及Spark Shell

min util man 操作 because tro txt library all Spark 基礎入門，集群搭建以及Spark Shell 主要借助Spark基礎的PPT，再加上實際的動手操作來加強概念的理解和實踐。

hadoop偽分布式集群搭建與安裝（ubuntu系統）

log 結束 實的 變量 開啟 web 路徑 har ont 1：Vmware虛擬軟件裏面安裝好Ubuntu操作系統之後使用ifconfig命令查看一下ip; 2：使用Xsheel軟件遠程鏈接自己的虛擬機，方便操作。輸入自己ubuntu操作系統的賬號密碼之後就鏈接成

vmware搭建hadoop集群完整過程筆記

器） 修改文件權限 配置環境 chmod 出現問題 2.6.0 img key文件 無權限 搭建hadoop集群完整過程筆記 一、虛擬機和操作系統 　　環境：ubuntu14+hadoop2.6+jdk1.8 　　虛擬機：vmware12 二、安裝步驟： 先在一臺機器上

ubuntu16.04搭建hadoop集群環境

address hadoop 集群 所有 ipv ret 加載文件 keygen -- manager 1. 系統環境Oracle VM VirtualBoxUbuntu 16.04Hadoop 2.7.4Java 1.8.0_111master：192.168.19.12

Amabari搭建Hadoop集群(一)

hdp ambari 一、系統環境1.系統版本[root@manager ~]# cat /etc/centos-release CentOS Linux release 7.4.1708 (Core)2.主機規劃主機名IP地址角色manager192.168.10.131ambari-serverv

Amabari搭建Hadoop集群(二)

amabr hdp 一、進入登陸頁面1.在瀏覽器中輸入ambari-server端地址，初始賬戶和密碼都是admin2.登陸後進入向導界面，點擊Launch Install Wizard3.設置集群名稱二、安裝相關組件1.選擇HDP版本，註意選擇使用本地源2.輸入其他節點的主機名或IP，並選擇SSH配

Hadoop偽分布式集群搭建

。。；一、HDFS偽分布式環境搭建 Hadoop分布式文件系統(HDFS)被設計成適合運行在通用硬件(commodity hardware)上的分布式文件系統。它和現有的分布式文件系統有很多共同點。但同時，它和其他的分布式文件系統的區別也是很明顯的。HDFS是一個高度容錯性的系統，適

Hadoop偽分布式集群搭建-此文章在個人51.cto轉載

完全分布式 tab 運行 war 利用 node節點 RM 配置 還需 一、HDFS偽分布式環境搭建 Hadoop分布式文件系統(HDFS)被設計成適合運行在通用硬件(commodity hardware)上的分布式文件系統。它和現有的分布式文件

hadoop docker集群搭建

-m 分享圖片 tmp second source keys 一個 oop utils 獲取鏡像 #本機內 docker pull ubuntu:16.04 編排鏡像 啟動一個容器 #本機內 docker run -i -t --name master ubuntu:16