2. 程式人生 > >hadoop完全分布式部署

hadoop完全分布式部署

阿新 • • 發佈：2018-05-22
hadoop部署 hadoop完全分布式部署

一、概述

概念：

是一個可靠的、可伸縮的、分布式計算的開源軟件。
是一個框架，允許跨越計算機集群的大數據及分布式處理，使用簡單的編程模型（mapreduce）
可從單臺服務器擴展至幾千臺主機，每個節點提供了計算和存儲功能。
不依賴於硬件處理HA，在應用層面實現

特性4V：

volumn 體量大
velocity 速度快
variaty 樣式多
value 價值密度低

模塊：

hadoop common 公共類庫，支持其他模塊
HDFS hadoop distributed file system，hadoop分布式文件系統
Hadoop yarn 作業調度和資源管理框架

hadoop mapreduce 基於yarn系統的大數據集並行處理技術。

二、安裝部署

2.1 主機規劃

主機名稱 IP地址 安裝節點應用
hadoop-1 172.20.2.203 namenode/datanode/nodemanager
hadoop-2 172.20.2.204 secondarynode/datanode/nodemanager
hadoop-3 172.20.2.205 resourcemanager/datanode/nodemanager

2.2 部署

2.2.1 基礎環境配置

a.配置java環境

yum install java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-devel -y
cat >/etc/profile.d/java.sh<<EOF
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-3.b14.el6_9.x86_64
export CLASSPATH=.:\$JAVA_HOME/jre/lib/rt.jar:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar 
export PATH=\$PATH:\$JAVA_HOME/bin
EOF
source /etc/profile.d/java.sh

b.修改主機名添加hosts

hostname hadoop-1
cat >>/etc/hosts<<EOF
172.20.2.203    hadoop-1
172.20.2.204    hadoop-2
172.20.2.205    hadoop-3
EOF

c.創建用戶及目錄

useradd hadoop
echo "hadoopwd" |passwd hadoop --stdin
mkdir -pv /data/hadoop/hdfs/{nn,snn,dn}
chown -R hadoop:hadoop /data/hadoop/hdfs/
mkdir -p /var/log/hadoop/yarn
mkdir -p /dbapps/hadoop/logs
chmod g+w /dbapps/hadoop/logs/
chown -R hadoop.hadoop /dbapps/hadoop/

d.配置hadoop環境變量

cat>/etc/profile.d/hadoop.sh<<EOF
export HADOOP_PREFIX=/usr/local/hadoop
export PATH=\$PATH:\$HADOOP_PREFIX/bin:\$HADOOP_PREFIX/sbin
export HADOOP_COMMON_HOME=\${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=\${HADOOP_PREFIX}
export HADOOP_MAPRED_HOME=\${HADOOP_PREFIX}
export HADOOP_YARN_HOME=\${HADOOP_PREFIX}
EOF
source /etc/profile.d/hadoop.sh

e.下載並解壓軟件包

mkdir /software 
cd /software 
wget -c http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz
tar -zxf hadoop-2.6.5.tar.gz -C /usr/local
ln -sv /usr/local/hadoop-2.6.5/ /usr/local/hadoop
chown hadoop.hadoop /usr/local/hadoop-2.6.5/ -R

f.hadoop用戶免密鑰配置

su - hadoop
ssh-keygen -t rsa
for num in `seq 1 3`;do ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@hadoop-$num;done

技術分享圖片

2.3 配置hadoop

2.3.1 配置各節點

配置master節點

hadoop-1節點運行namenode/datanode/nodemanager,修改hadoop-1的hadoop配置文件

core-site.xml（定義namenode節點）

cat>/usr/local/hadoop/etc/hadoop/core-site.xml <<EOF
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-1:8020</value>
<final>true</final>
</property>
</configuration>
EOF

hdfs-site.xml修改replication為data節點數目 （定義secondary節點）

cat >/usr/local/hadoop/etc/hadoop/hdfs-site.xml <<EOF
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop-2:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///data/hadoop/hdfs/nn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///data/hadoop/hdfs/dn</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>file:///data/hadoop/hdfs/snn</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>file:///data/hadoop/hdfs/snn</value>
</property>
</configuration>
EOF

添加mapred-site.xml

cat >/usr/local/hadoop/etc/hadoop/mapred-site.xml <<EOF
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
EOF

yarn-site.xml修改對應values為master的主機名（定義resourcemanager節點）

cat >/usr/local/hadoop/etc/hadoop/yarn-site.xml<<EOF
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop-3:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop-3:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop-3:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop-3:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop-3:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
</configuration>
EOF

slaves(定義數據節點)

cat >/usr/local/hadoop/etc/hadoop/slaves<<EOF
hadoop-1
hadoop-2
hadoop-3
EOF

同樣的步驟操作hadoop-2/3，建議將hadoop-1的文件直接分發至hadoop-2/3

2.3.2 格式化namenode

在NameNode機器上（hadoop-1）執行格式化：

hdfs namenode -format

技術分享圖片
技術分享圖片
技術分享圖片

2.3.3 啟動服務

在namenode hadoop-1執行start-all.sh啟動服務
在hadoop-3啟動resourcemanager服務``

技術分享圖片
hadoop-2服務查看
技術分享圖片
hadoop-3服務查看
技術分享圖片

2.3.4 運行測試程序

yarn jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar pi 2 10
技術分享圖片
技術分享圖片

2.3.5 查看web界面

HDFS-NameNode

url:http://172.20.2.203:50070
技術分享圖片
技術分享圖片

YARN-ResourceManager

url:http://172.20.2.205:8088

技術分享圖片

hadoop完全分布式部署

相關推薦

hadoop完全分布式部署

hadoop部署 hadoop完全分布式部署 一、概述 概念： 是一個可靠的、可伸縮的、分布式計算的開源軟件。是一個框架，允許跨越計算機集群的大數據及分布式處理，使用簡單的編程模型（mapreduce）可從單臺服務器擴展至幾千臺主機，每個節點提供了計算和存儲功能。不依賴於硬件處理HA，在應用層面實現

Hadoop 完全分布式部署

roo pda adding value 時間同步 解壓 pre module ive 完全分布式部署Hadoop 分析： 1）準備3臺客戶機（關閉防火墻、靜態ip、主機名稱） 2）安裝jdk 3）配置環境變量

Hadoop 2.7.3 完全分布式部署

sbin oot oop .com body acl border tool user 本次測試環境如下 IP host JDK linux hadop role 172.16.101.55 sht-sgmhadoopnn-01 1.8.0_111

Hadoop生態圈-Kafka的完全分布式部署

灰色 file c4c lec complete AC ade ring 裝包 　　　　　　　　　　　　　　　　Hadoop生態圈-Kafka的完全分布式部署 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正傑 版權聲明：原創作品，謝絕

Hadoop完全分布式配置

hadoop 完全分布式 一、首先說一下，Hadoop有三種運行模式。 第一個是獨立(或本地)運行模式：無需運行任何守護進程，所有程序都在一個同一個JVM上執行。 第二個是偽分布模式：Hadoop守護進程運行在本地機器上，模擬一個小規模的集群。 第三個是全分布模式，也就是通常所說的完全分布式模式：

hadoop完全分布式的搭建的理解

hadoop完全分布式的搭建的理解hadoop完全分布式的搭建思路？jdk必須安裝，所有機器都是一樣的。環境變量是PATH,但是在配置PATH的時候，一定要加上.;這是系統原來的環境變量，如果不加這個，可能再次開不出機器。Hadoop安裝，可以放在yarn，也可以不放在yarn，環境變量HADOOP_HOME

Hadoop完全分布式環境搭建

操作 主目錄 可用 8.0 www map 是否 devel ice 前言 本文搭建了一個由三節點（master、slave1、slave2）構成的Hadoop完全分布式集群（區別單節點偽分布式集群），並通過Hadoop分布式計算的一個示例測試集群的正確性。 本文集群三

hadoop偽分布式部署

hadoop偽分布式========一.hadoop偽分布式========= <code> 偽分布式環境配置 需要安裝openjdk 和openjdk-devel軟件包（用的是1.8.0版本） rpm -ql Java-openjdk-devel-1.8.0 | grep ‘/bin/javac

Hadoop完全分布式安裝配置完整過程

其他 ins $path serve 建立 工作 isp IT 完成後 一. 硬件、軟件準備 1. 硬件設備 為了方便學習Hadoop，我采用了雲服務器來配置Hadoop集群。集群使用三個節點，一個阿裏雲節點、一個騰訊雲節點、一個華為雲節點，其中阿裏雲和騰訊雲都是通過使用

大數據之---hadoop偽分布式部署(HDFS)全網終極篇

偽分布式部 hadoop 1、軟件環境RHEL6 jdk-8u45 hadoop-2.8.1.tar.gz ssh xx.xx.xx.xx ip地址 hadoop1 xx.xx.xx.xx ip地址 hadoop2 xx.xx.xx.xx ip地址 hadoop3 xx.xx.xx.xx ip地址 h

Hadoop偽分布式部署(HDFS)

Hadoop環境要求：java、ssh 1.上傳並解壓tar包 [root@hadoop000 software]# rz #上傳hadoop-2.8.1.tar.gz [root@hadoop000 software]# tar -xzvf hadoop-2.8.1.tar.gz 2.配置環境變量 [ro

hadoop完全分布式搭建

spa 方便 color dfs 配置 啟動 ava 基礎環境 密碼登錄 Overview：過程有很多帖子都解釋了如何搭建，本文主要列舉需要做的事情，然後在文末提供一個非常詳細的搭建教程，方便大家使用。 我這裏是使用了3臺服務器搭建分布式平臺，每臺機子都需要配置java的開

hadoop完全分布式安裝

命令 roo shu efault -h 圖片 oop work rsa 　　環境介紹 服務器軟件版本 操作系統 CentOS 6.5 x86_64 Java 1.7.0_79 hadoop 2.6.1 hadoop各個節點集群架構 主機名 i

ubantu 16.4 Hadoop 完全分布式搭建

whoami none chm ssh rip args 查看進程 exit dst 一個虛擬機 　　1.以 NAT網卡模式 裝載虛擬機 　　2.最好將幾個用到的虛擬機修改主機名，靜態IP /etc/network/interface，這裏 是 s101

SpringCloud從入門到進階（四）——生產環境下Eureka的完全分布式部署

分開 -s rip linux mas 此外 實例名 leo 版本 內容 　　由於前兩節的內容我們知道，開啟了preferIpAddress後，Eureka的偽分布式部署會提示replica不可用。這一節我們講解如何在生產環境下部署完全分布式的Eureka集群，確保開啟了p

3-3 Hadoop集群完全分布式配置部署

連接 repl lis pts 創建目錄 啟動 ant window 主機 Hadoop集群完全分布式配置部署 下面的部署步驟，除非說明是在哪個服務器上操作，否則默認為在所有服務器上都要操作。為了方便，使用root用戶。 1.準備工作 1.1 ce

Hadoop及Zookeeper+HBase完全分布式集群部署

ng- 根據 標識 部署 mina 軟件包 大小 apache enable Hadoop及HBase集群部署 一、 集群環境 系統版本 虛擬機：內存 16G CPU 雙核心 系統： CentOS-7 64位 系統下載地址： http://124.202.164.6/f

HBase的完全分布式的搭建與部署，以及多master

servers image ast 每一個 設置 url 觀察 pos www. HBase的完全分布式的搭建與部署，以及多master 一：前提準備 1.設置時間同步 　　 2.清空logs，datas 　　 3.格式化集群 　　bin/hdfs namenode

Hadoop學習------Hadoop安裝方式之(三)：分布式部署

之間 root用戶 jar .sh author tables eth1 report 標識 這裏為了方便直接將單機部署過的虛擬機直接克隆，當然也可以不這樣做，一個個手工部署。 創建完整克隆——>下一步——>安裝位置。等待一段時間即可。 我這邊用了三臺虛擬

[Hadoop]部署-偽分布式部署

cor namenode default 不成功 hadoop roo proto 成功 16px 前文 已經完成了編譯,接下來就是部署了 這裏部署還是采用偽分布式部署,硬件條件沒辦法,我的破機器內存實在是拖不起三臺,只能裝一臺用偽分布式了. 1.基本安裝 找到我