2. 程式人生 > >3-2 Hadoop偽分布模式配置部署

3-2 Hadoop偽分布模式配置部署

阿新 • • 發佈：2018-06-20
方法 包括 -name hbase 更多 配置文件 lse pac 小結

Hadoop偽分布模式配置部署

一、實驗介紹

1.1 實驗內容

  • hadoop配置文件介紹及修改
  • hdfs格式化
  • 啟動hadoop進程，驗證安裝

1.2 實驗知識點

  • hadoop核心配置文件
  • 文件系統的格式化
  • 測試WordCount程序

1.3 實驗環境

  • hadoop2.7.6
  • CentOS6終端

1.4 適合人群

本課程難度為一般，屬於初級級別課程，適合具有hadoop基礎的用戶。

1.5 相關文件

https://pan.baidu.com/s/1a_Pjl8uJ2d_-r1hbN05fWA

二、Hadoop偽分布式模式配置

註意：本實驗需要按照上一節單機模式部署後繼續進行操作，因此您必須先完成上一節實驗。

2.1 相關配置文件修改

（若文件中沒有添加的配置項，則系統為默認值，不會對該實驗產生影響）

1).修改.bashrc:

由於平臺環境與該實驗hadoop版本不匹配問題，需要對.bashr文件中末尾處的環境變量做修改

$ vim /home/hadoop/.bashrc

修改為：

export HADOOP_HOME=/home/hadoop/hdfs
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/home/hadoop/hdfs/bin:/home/hadoop/hdfs/sbin

由於本實驗不會用到hbase和hive，所以相關環境變量刪除。

提醒:修改了配置文件後，如何使變量生效？上一節我們有使用到過，大家自行回顧一下。

2).修改core-site.xml:

$ vim /home/hadoop/hdfs/etc/hadoop/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<!-- Put site-specific property overrides in this file. -->
 
<configuration>
    <property>
 
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
   </property>
</configuration>

常用配置項說明：

  • fs.defaultFS這是默認的HDFS路徑。當有多個HDFS集群同時工作時，用戶在這裏指定默認HDFS集群，該值來自於hdfs-site.xml中的配置。
  • fs.default.name這是一個描述集群中NameNode結點的URI(包括協議、主機名稱、端口號)，集群裏面的每一臺機器都需要知道NameNode的地址。DataNode結點會先在NameNode上註冊，這樣它們的數據才可以被使用。獨立的客戶端程序通過這個URI跟DataNode交互，以取得文件的塊列表。
  • hadoop.tmp.dir 是hadoop文件系統依賴的基礎配置，很多路徑都依賴它。如果hdfs-site.xml中不配置namenode和datanode的存放位置，默認就放在/tmp/hadoop-${user.name}這個路徑中。

更多說明請參考core-default.xml，包含配置文件所有配置項的說明和默認值。

3).修改hdfs-site.xml:

$ vim /home/hadoop/hdfs/etc/hadoop/hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<!-- Put site-specific property overrides in this file. -->
 
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

常用配置項說明：

  • dfs.replication它決定著系統裏面的文件塊的數據備份個數。對於一個實際的應用，它應該被設為3（這個數字並沒有上限，但更多的備份可能並沒有作用，而且會占用更多的空間）。少於三個的備份，可能會影響到數據的可靠性(系統故障時，也許會造成數據丟失)
  • dfs.data.dir這是DataNode結點被指定要存儲數據的本地文件系統路徑。DataNode結點上的這個路徑沒有必要完全相同，因為每臺機器的環境很可能是不一樣的。但如果每臺機器上的這個路徑都是統一配置的話，會使工作變得簡單一些。默認的情況下，它的值為file://${hadoop.tmp.dir}/dfs/data這個路徑只能用於測試的目的，因為它很可能會丟失掉一些數據。所以這個值最好還是被覆蓋。
  • dfs.name.dir這是NameNode結點存儲hadoop文件系統信息的本地系統路徑。這個值只對NameNode有效，DataNode並不需要使用到它。上面對於/temp類型的警告，同樣也適用於這裏。在實際應用中，它最好被覆蓋掉。

更多說明請參考hdfs-default.xml，包含配置文件所有配置項的說明和默認值。

4).修改mapred-site.xml:

$ cp /home/hadoop/hdfs/etc/hadoop/mapred-site.xml.template /home/hadoop/hdfs/etc/hadoop/mapred-site.xml
$ vim /home/hadoop/hdfs/etc/hadoop/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<!-- Put site-specific property overrides in this file. -->
 
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

常用配置項說明：

  • mapred.job.trackerJobTracker的主機（或者IP）和端口。

更多說明請參考mapred-default.xml，包含配置文件所有配置項的說明和默認值

5).修改yarn-site.xml:

$ vim /home/hadoop/hdfs/etc/hadoop/yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
 
</configuration>

常用配置項說明：

  • yarn.nodemanager.aux-services通過該配置，用戶可以自定義一些服務

更多說明請參考yarn-default.xml，包含配置文件所有配置項的說明和默認值

6). 修改 hadoop-env.sh:

$ sudo vim /home/hadoop/hdfs/etc/hadoop/hadoop-env.sh

修改 JAVA_HOME 如下：

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export HADOOP_CONF_DIR=/home/hadoop/hdfs/etc/hadoop

這樣簡單的偽分布式模式就配置好了。

三、格式化HDFS文件系統

在使用hadoop前，必須格式化一個全新的HDFS安裝，通過創建存儲目錄和NameNode持久化數據結構的初始版本，格式化過程創建了一個空的文件系統。由於NameNode管理文件系統的元數據，而DataNode可以動態的加入或離開集群，因此這個格式化過程並不涉及DataNode。同理，用戶也無需關註文件系統的規模。集群中DataNode的數量決定著文件系統的規模。DataNode可以在文件系統格式化之後的很長一段時間內按需增加。

3.1 格式化HDFS文件系統

$ hadoop namenode -format

會輸出如下信息，則表格式化HDFS成功：

DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
 
INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = [你的主機名]/[你的ip]
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 2.7.6
...
...
INFO util.GSet: Computing capacity for map NameNodeRetryCache
INFO util.GSet: VM type       = 64-bit
INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB
INFO util.GSet: capacity      = 2^15 = 32768 entries
INFO namenode.NNConf: ACLs enabled? false
INFO namenode.NNConf: XAttrs enabled? true
INFO namenode.NNConf: Maximum size of an xattr: 16384
INFO namenode.FSImage: Allocated new BlockPoolId: BP-549895748-192.168.42.3-1489569976471
INFO common.Storage: Storage directory /home/hadoop/hadop2.6-tmp/dfs/name has been successfully formatted.
INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
NFO util.ExitUtil: Exiting with status 0
INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at [你的主機名]//[你的ip]
************************************************************/
hadoop@c81af9a07ade:/opt/hadoop-2.7.6/bin$ jps

四、Hadoop集群啟動

4.1 啟動hdfs守護進程，分別啟動NameNode和DataNode

$ start-dfs.sh

輸出如下（可以看出分別啟動了namenode, datanode, secondarynamenode，因為我們沒有配置secondarynamenode，所以地址為0.0.0.0）：

Starting namenodes on []
hadoop@localhost‘s password:
localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-G470.out
hadoop@localhost‘s password:
localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hadoop-datanode-G470.out
localhost: OpenJDK 64-Bit Server VM warning: You have loaded library /usr/local/hadoop/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
localhost: It‘s highly recommended that you fix the library with ‘execstack -c <libfile>‘, or link it with ‘-z noexecstack‘.
Starting secondary namenodes [0.0.0.0]
hadoop@0.0.0.0‘s password:
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-secondarynamenode-G470.out

4.2 啟動yarn,使用如下命令啟ResourceManager和NodeManager:

$ start-yarn.sh

4.3 檢查是否運行成功

打開瀏覽器

  • 輸入：http://localhost:8088進入ResourceManager管理頁面
  • 輸入：http://localhost:50070進入HDFS頁面

可能出現的問題及調試方法：

啟動偽分布後，如果活躍節點顯示為零，說明偽分布沒有真正的啟動。原因是有的時候數據結構出現問題會造成無法啟動datanode。如果使用hadoop namenode -format重新格式化仍然無法正常啟動，原因是/tmp中的文件沒有清除，則需要先清除/tmp/hadoop/*再執行格式化，即可解決hadoop datanode無法啟動的問題。具體步驟如下所示：

# 刪除hadoop:/tmp
$ hadoop fs -rmr /tmp
# 停止hadoop
$ stop-all.sh
# 刪除/tmp/hadoop*
$ rm -rf /tmp/hadoop*
# 格式化
$ hadoop namenode -format
# 啟動hadoop
$ start-all.sh

五、測試驗證

測試驗證還是使用上一節的 WordCount。

不同的是，這次是偽分布模式，使用到了 hdfs，因此我們需要把文件拷貝到 hdfs 上去。

首先創建相關文件夾（要一步一步的創建）：

$ hadoop dfs -mkdir /user
$ hadoop dfs -mkdir /user/hadoop
$ hadoop dfs -mkdir /user/hadoop/input

創建多層目錄的簡便方法：

$ hadoop dfs -mkdir -p /user/hadoop/input

5.1 創建輸入的數據，采用/etc/protocols文件作為測試

先將文件拷貝到 hdfs 上：

$ hadoop dfs -put /etc/protocols /user/hadoop/input

技術分享圖片

5.2 執行Hadoop WordCount應用（詞頻統計）

# 如果存在上一次測試生成的output，由於hadoop的安全機制，直接運行可能會報錯，所以請手動刪除上一次生成的output文件夾
$ hadoop jar /home/hadoop/hdfs/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.6-sources.jar wordcount /user/hadoop/input output

執行過程截圖（部分）：

技術分享圖片

5.3 查看生成的單詞統計數據

$ hadoop dfs -cat /user/hadoop/output/*

技術分享圖片

六、關閉服務

$ stop-dfs.sh
$ stop-yarn.sh

七、小結

本實驗講解如何在單機模式下繼續部署Hadoop為偽分布模式。

八、思考題

偽分布模式和單機模式配置上的區別主要是哪些？是否可以推論出如何部署真實的分布式Hadoop環境？

九、參考文檔

本實驗參考下列文檔內容制作：

  • http://www.cnblogs.com/kinglau/p/3796164.html

實驗樓練習平臺：http://www.shiyanlou.com/register?inviter=NTY0MzE5NjA1NjM3

3-2 Hadoop偽分布模式配置部署

相關推薦

3-2 Hadoop偽分布模式配置部署

方法 包括 -name hbase 更多 配置文件 lse pac 小結 Hadoop偽分布模式配置部署 一、實驗介紹 1.1 實驗內容 hadoop配置文件介紹及修改 hdfs格式化 啟動hadoop進程，驗證安裝 1.2 實驗知識點 hadoop核心配置文件

大數據2-Hadoop偽分布式+ZK+HDFS

ora apr 機器 工具 data 解決 專家 常見 模型 大數據解決四大核心問題： 數據的存儲（Big Data Storage），海量數據需要處理和分析，但前提是要進行有效的存儲。Hadoop的誕生突破了傳統數據文件系統的單機模式。HDFS使得數據可以跨越不同的機

Hadoop偽分布式配置

default 比較 rar temporary conf 完成後 運行 name dfs- Hadoop 可以在單節點上以偽分布式的方式運行，Hadoop 進程以分離的 Java 進程來運行，節點既作為 NameNode 也作為 DataNode，同時，讀取的是 HDFS

2018-08-13期 Hbase偽分布模式安裝部署

pac binding 裝包 ava image 沒有 peer zookeeper ive 說明：Hbase部署模式有以下三種（1）本地模式：本地模式不依賴於HDFS存儲，將文件存儲到操作系統本地目錄，好處是我們不需要搭建HDFS集群，即可學些HBase相關命令及客戶端操

Hadoop的配置過程（虛擬機中的偽分布模式）

關鍵字 系統默認 ati out source 網絡設置 道理 發包 啟動 1引言 hadoop如今已經成為大數據處理中不可缺少的關鍵技術，在如今大數據爆炸的時代，hadoop給我們處理海量數據提供了強有力的技術支撐。因此，了解hadoop的原理與應用方法是必要的技術知識。

hadoop的安裝和配置——第二章：偽分布模式

manage 安裝和配置 for tex .com 偽分布 roo oca mat 這篇為大家帶來hadoop的偽分布模式： 從最簡單的方面來說，偽分布模式就是在本地模式上修改配置文件： core-site.xml;hdfs-site.xml;mapred-site.xml

hadoop偽分布式模式下安裝及運行

ram linux .sh gre 卸載 def href sha path 一 . 安裝JDK 查詢目前系統的JDK： rpm -qa|grep jdk. 卸載JDK yum -y remove xx tar -xzvf jdk-7u80-linu

3-3 Hadoop集群完全分布式配置部署

連接 repl lis pts 創建目錄 啟動 ant window 主機 Hadoop集群完全分布式配置部署 下面的部署步驟，除非說明是在哪個服務器上操作，否則默認為在所有服務器上都要操作。為了方便，使用root用戶。 1.準備工作 1.1 ce

Macbook Hbase(1.2.6) 偽分布式安裝，Hadoop(2.8.2) ，使用自帶zookeeper

may use oop cab cto 電腦 nds log4j clu 首先需要保證hadoop已經在電腦上安裝。然後接下來只需要下載hhase配置就行了。 Step1: 下載hbase http://archive.apache.org/dist/hbase/1.2.6

Hadoop完全分布式配置

hadoop 完全分布式 一、首先說一下，Hadoop有三種運行模式。 第一個是獨立(或本地)運行模式：無需運行任何守護進程，所有程序都在一個同一個JVM上執行。 第二個是偽分布模式：Hadoop守護進程運行在本地機器上，模擬一個小規模的集群。 第三個是全分布模式，也就是通常所說的完全分布式模式：

Hadoop偽分布式安裝

namenode 無法 let 日誌 logs targe mpi 開機啟動 form 本文介紹的主要是Hadoop的偽分布式的搭建以及遇到的相關問題的解決，做一下記錄，jdk的安裝這裏就不做太多的介紹了，相信大家根據網上的安裝介紹很快就能安裝成功。

hadoop偽分布式集群搭建與安裝（ubuntu系統）

log 結束 實的 變量 開啟 web 路徑 har ont 1：Vmware虛擬軟件裏面安裝好Ubuntu操作系統之後使用ifconfig命令查看一下ip; 2：使用Xsheel軟件遠程鏈接自己的虛擬機，方便操作。輸入自己ubuntu操作系統的賬號密碼之後就鏈接成

spark2.2.0偽分布式

執行 .sh work export pan exp source p地址 全分布式 環境： 　　hadoop2.6.0 　　jdk1.8 　　ubuntu 14.04 64位 1 安裝scala環境 版本是scala-2.10.6，官網下載地址http://www.sca

Hadoop初體驗：快速搭建Hadoop偽分布式環境

hadoop 偽分布式 大數據 0.前言 本文旨在使用一個全新安裝好的Linux系統從0開始進行Hadoop偽分布式環境的搭建，以達到快速搭建的目的，從而體驗Hadoop的魅力所在，為後面的繼續學習提供基礎環境。 對使用的系統環境作如下說明：操作系統：CentOS 6.5 64位主機I

Ubuntu16.04 install Hadoop 偽分布式

修改 ica hdfs stop 輸入密碼 退出 ati 如果 per 1.安裝SSH server、配置SSH無密碼登陸Ubuntu默認安裝了SSH client，還需要安裝SSH server。sudo apt-get install openssh-server設置S

hadoop偽分布式部署

hadoop偽分布式========一.hadoop偽分布式========= <code> 偽分布式環境配置 需要安裝openjdk 和openjdk-devel軟件包（用的是1.8.0版本） rpm -ql Java-openjdk-devel-1.8.0 | grep ‘/bin/javac

Hadoop偽分布式搭建（本人新手，歡迎大家多多指導和關照）

web 生成 變量 open 密碼登錄 ssh 登陸 core 客戶 1.創建hadoop賬戶,創建用戶的home目錄並設置密碼。（useradd -m hadoop ） 2.本步驟可以不做（我是為了方便，給hadoop賦予了root權限）（vi /etc/sudoers

zookeeper偽分布安裝配置

body html 生效 grep replica run test version eat 1、下載路徑為：http://mirrors.cnnic.cn/apache/zookeeper/stable/ 2、安裝： 第一步 解壓zookeeper壓縮包： 進入 zo

hbase偽分布安裝配置

ont 出現 comm copy pac java_home 復制代碼 value rem 註意：在安裝hbase或者hadoop的時候，要註意hadoop和hbase的對應關系。如果版本不對應可能造成系統的不穩定和一些其他的問題。在hbase的lib目錄下可以看

Mac Hadoop2.6（CDH5.9.2）偽分布式集群安裝

home address oca tno 操作系統 fault locate java contents 操作系統： MAC OS X 一、準備 1、 JDK 1.8 　　下載地址：http://www.oracle.com/technetwork/java/javase