2. 程式人生 > >HDFS偽分布式環境搭建

HDFS偽分布式環境搭建

阿新 • • 發佈：2018-03-24
Hadoop HDFS 大數據 偽分布式環境搭建

HDFS概述及設計目標

什麽是HDFS：

  • 是Hadoop實現的一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS
  • 源自於Google的GFS論文
  • 論文發表於2003年，HDFS是GFS的克隆版

HDFS的設計目標：

  • 非常巨大的分布式文件系統
  • 運行在普通廉價的硬件上
  • 易擴展、為用戶×××能不錯的文件存儲服務，也就是容錯性

HDFS官方文檔地址如下：

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

HDFS架構

HDFS是主/從式的架構。一個HDFS集群會有一個NameNode（簡稱NN），也就是命名節點，該節點作為主服務器存在（master server）。NameNode用於管理文件系統的命名空間以及調節客戶訪問文件。此外，還會有多個DataNode（簡稱DN），也就是數據節點，數據節點作為從節點存在（slave server）。通常每一個集群中的DataNode，都會被NameNode所管理，DataNode用於存儲數據。

HDFS公開了文件系統名稱空間，允許用戶將數據存儲在文件中，就好比我們平時使用操作系統中的文件系統一樣，用戶無需關心底層是如何存儲數據的。而在底層，一個文件會被分成一個或多個數據塊，這些數據庫塊會被存儲在一組數據節點中。在CDH中數據塊的默認大小是128M，這個大小我們可以通過配置文件進行調節。在NameNode上我們可以執行文件系統的命名空間操作，如打開，關閉，重命名文件等。這也決定了數據塊到數據節點的映射。

我們可以來看看HDFS的架構圖：
技術分享圖片

HDFS被設計為可以運行在普通的廉價機器上，而這些機器通常運行著一個Linux操作系統。HDFS是使用java語言編寫的，任何支持java的機器都可以運行HDFS。使用高度可移植的java語言編寫的HDFS，意味著可以部署在廣泛的機器上。一個典型的HDFS集群部署會有一個專門的機器只能運行NameNode，而其他集群中的機器各自運行一個DataNode實例。雖然一臺機器上也可以運行多個節點，但是並不建議這麽做，除非是學習環境。

總結：

  • HDFS是主/從式的架構，一個HDFS集群會有一個NameNode以及多個DataNode
  • 一個文件會被拆分為多個數據塊進行存儲，默認數據塊大小是128M
  • 即便一個數據塊大小為130M，也會被拆分為2個Block，一個大小為128M，一個大小為2M
  • HDFS是使用Java編寫的，使得其可以運行在安裝了JDK的操作系統之上

NN：

  • 負責客戶端請求的響應
  • 負責元數據（文件的名稱、副本系數、Block存放的DN）的管理

DN：

  • 存儲用戶的文件對應的數據塊（Block）
  • 會定期向NN發送心跳信息，匯報本身及其所有的block信息和健康狀況

HDFS副本機制

在HDFS中，一個文件會被拆分為一個或多個數據塊。默認情況下，每個數據塊都會有三個副本。每個副本都會被存放在不同的機器上，而且每一個副本都有自己唯一的編號。

如下圖：
技術分享圖片

HDFS副本存放策略

NameNode節點選擇一個DataNode節點去存儲block副本得過程就叫做副本存放，這個過程的策略其實就是在可靠性和讀寫帶寬間得權衡。

《Hadoop權威指南》中的默認方式：

  • 第一個副本會隨機選擇，但是不會選擇存儲過滿的節點。
  • 第二個副本放在和第一個副本不同且隨機選擇的機架上。
  • 第三個和第二個放在同一個機架上的不同節點上。
  • 剩余的副本就完全隨機節點了。

如下圖：
技術分享圖片

可以看出這個方案比較合理：

  1. 可靠性：block存儲在兩個機架上
  2. 寫帶寬：寫操作僅僅穿過一個網絡交換機
  3. 讀操作：選擇其中得一個機架去讀
  4. block分布在整個集群上。

HDFS偽分布式環境搭建

官方安裝文檔地址如下：

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/SingleCluster.html

環境描述：

  • CentOS7.3
  • JDK1.8
  • Hadoop 2.6.0-cdh5.7.0
  • ssh
  • rsync

下載Hadoop 2.6.0-cdh5.7.0的tar.gz包並解壓：

[root@localhost ~]# cd /usr/local/src/
[root@localhost /usr/local/src]# wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
[root@localhost /usr/local/src]# tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local/

註：如果在Linux上下載得很慢的話，可以在windows的迅雷上使用這個鏈接進行下載。然後再上傳到Linux中，這樣就會快一些。

解壓完後，進入到解壓後的目錄下，可以看到hadoop的目錄結構如下：

[root@localhost /usr/local/src]# cd /usr/local/hadoop-2.6.0-cdh5.7.0/
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0]# ls
bin             cloudera  examples             include  libexec      NOTICE.txt  sbin   src
bin-mapreduce1  etc       examples-mapreduce1  lib      LICENSE.txt  README.txt  share
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0]#

簡單說明一下其中幾個目錄存放的東西：

  • bin目錄存放可執行文件
  • etc目錄存放配置文件
  • sbin目錄下存放服務的啟動命令
  • share目錄下存放jar包與文檔

以上就算是把hadoop給安裝好了，接下來就是編輯配置文件，把JAVA_HOME配置一下：

[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0]# cd etc/
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/etc]# cd hadoop
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop]# vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8/  # 根據你的環境變量進行修改

由於我們要進行的是單節點偽分布式環境的搭建，所以還需要配置兩個配置文件，分別是core-site.xml以及hdfs-site.xml，如下：

[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop]# vim core-site.xml  # 增加如下內容
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.77.130:8020</value>  # 指定默認的訪問地址以及端口號
    </property>
    <property>
        <name>hadoop.tmp.dir</name>  # 指定臨時文件所存放的目錄
        <value>/data/tmp/</value>
    </property>
</configuration>
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop]# mkdir /data/tmp/
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop]# vim hdfs-site.xml  # 增加如下內容
<configuration>
    <property>
        <name>dfs.replication</name>  # 指定只產生一個副本
        <value>1</value>
    </property>
</configuration>

然後配置一下密鑰對，設置本地免密登錄，搭建偽分布式的話這一步是必須的：

[root@localhost ~]# ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
Generating public/private dsa key pair.
Your identification has been saved in /root/.ssh/id_dsa.
Your public key has been saved in /root/.ssh/id_dsa.pub.
The key fingerprint is:
c2:41:89:65:bd:04:9e:3e:3f:f9:a7:51:cd:e9:cf:1e root@localhost
The key‘s randomart image is:
+--[ DSA 1024]----+
|     o=+         |
|    .+..o        |
|      +. .       |
|     o ..    o . |
|      = S   . +  |
|       + . . .   |
|        + .   .E |
|         o ..  o.|
|          oo   .+|
+-----------------+
[root@localhost ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
[root@localhost ~]# ssh localhost
ssh_exchange_identification: read: Connection reset by peer
[root@localhost ~]#

如上，測試本地免密登錄的時候報了個ssh_exchange_identification: read: Connection reset by peer錯誤，於是著手排查錯誤，發現是/etc/hosts.allow文件裏限制了IP，於是修改一下該配置文件即可，如下：

[root@localhost ~]# vim /etc/hosts.allow  #  修改為 sshd: ALL
[root@localhost ~]# service sshd restart
[root@localhost ~]# ssh localhost  # 測試登錄成功
Last login: Sat Mar 24 21:56:38 2018 from localhost
[root@localhost ~]# logout
Connection to localhost closed.
[root@localhost ~]#

接下來就可以啟動HDFS了，不過在啟動之前需要先格式化文件系統：

[root@localhost ~]# /usr/local/hadoop-2.6.0-cdh5.7.0/bin/hdfs namenode -format

註：只有第一次啟動才需要格式化

使用服務啟動腳本啟動服務：

[root@localhost ~]# /usr/local/hadoop-2.6.0-cdh5.7.0/sbin/start-dfs.sh
18/03/24 21:59:03 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [192.168.77.130]
192.168.77.130: namenode running as process 8928. Stop it first.
localhost: starting datanode, logging to /usr/local/hadoop-2.6.0-cdh5.7.0/logs/hadoop-root-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]
The authenticity of host ‘0.0.0.0 (0.0.0.0)‘ can‘t be established.
ECDSA key fingerprint is 63:74:14:e8:15:4c:45:13:9e:16:56:92:6a:8c:1a:84.
Are you sure you want to continue connecting (yes/no)? yes  # 第一次啟動會詢問是否連接節點
0.0.0.0: Warning: Permanently added ‘0.0.0.0‘ (ECDSA) to the list of known hosts.
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop-2.6.0-cdh5.7.0/logs/hadoop-root-secondarynamenode-localhost.out
18/03/24 21:59:22 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[root@localhost ~]# jps  # 檢查是否有以下幾個進程，如果少了一個都是不成功的
8928 NameNode
9875 Jps
9578 DataNode
9757 SecondaryNameNode
[root@localhost ~]# netstat -lntp |grep java  # 檢查端口
tcp        0      0 0.0.0.0:50090           0.0.0.0:*               LISTEN      9757/java           
tcp        0      0 192.168.77.130:8020     0.0.0.0:*               LISTEN      8928/java           
tcp        0      0 0.0.0.0:50070           0.0.0.0:*               LISTEN      8928/java           
tcp        0      0 0.0.0.0:50010           0.0.0.0:*               LISTEN      9578/java           
tcp        0      0 0.0.0.0:50075           0.0.0.0:*               LISTEN      9578/java           
tcp        0      0 0.0.0.0:50020           0.0.0.0:*               LISTEN      9578/java           
tcp        0      0 127.0.0.1:53703         0.0.0.0:*               LISTEN      9578/java           
[root@localhost ~]#

然後將Hadoop的安裝目錄配置到環境變量中，方便之後使用它的命令：

[root@localhost ~]# vim ~/.bash_profile  # 增加以下內容
export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.7.0/
export PATH=$HADOOP_HOME/bin:$PATH
[root@localhost ~]# source !$
source ~/.bash_profile
[root@localhost ~]#

確認服務啟動成功後，使用瀏覽器訪問192.168.77.130:50070，會訪問到如下頁面：
技術分享圖片

點擊Live Nodes查看活著的節點：
技術分享圖片

如上，可以看到節點的信息。到此，我們偽分布式的hadoop集群就搭建完成了。

HDFS shell操作

以上已經介紹了如何搭建偽分布式的Hadoop，既然環境已經搭建起來了，那要怎麽去操作呢？這就是本節將要介紹的內容：

HDFS自帶有一些shell命令，通過這些命令我們可以去操作HDFS文件系統，這些命令與Linux的命令挺相似的，如果熟悉Linux的命令很容易就可以上手HDFS的命令，關於這些命令的官方文檔地址如下：

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapredCommands.html

以下介紹幾個常用的命令：

首先我們創建一個測試文件：

[root@localhost ~]# cd /data/
[root@localhost /data]# vim hello.txt  # 隨便寫一些內容
hadoop welcome
hadoop hdfs mapreduce
hadoop hdfs
[root@localhost /data]#

1.查看文件系統的根目錄：

[root@localhost /data]# hdfs dfs -ls /
[root@localhost /data]#

2.將剛剛創建的文件拷貝到文件系統的根目錄下：

[root@localhost /data]# hdfs dfs -put ./hello.txt /
[root@localhost /data]# hdfs dfs -ls /
Found 1 items
-rw-r--r--   1 root supergroup         49 2018-03-24 22:37 /hello.txt
[root@localhost /data]#

3.查看文件內容：

[root@localhost /data]# hdfs dfs -cat /hello.txt
hadoop welcome
hadoop hdfs mapreduce
hadoop hdfs
[root@localhost /data]#

4.創建目錄：

[root@localhost /data]# hdfs dfs -mkdir /test
[root@localhost /data]# hdfs dfs -ls /
Found 2 items
-rw-r--r--   1 root supergroup         49 2018-03-24 22:37 /hello.txt
drwxr-xr-x   - root supergroup          0 2018-03-24 22:40 /test
[root@localhost /data]#

5.遞歸創建目錄：

[root@localhost /data]# hdfs dfs -mkdir -p /test/a/b/c

6.遞歸查看目錄：

[root@localhost /data]# hdfs dfs -ls -R /
-rw-r--r--   1 root supergroup         49 2018-03-24 23:02 /hello.txt
drwxr-xr-x   - root supergroup          0 2018-03-24 23:04 /test
drwxr-xr-x   - root supergroup          0 2018-03-24 23:04 /test/a
drwxr-xr-x   - root supergroup          0 2018-03-24 23:04 /test/a/b
drwxr-xr-x   - root supergroup          0 2018-03-24 23:04 /test/a/b/c
[root@localhost /data]#

7.拷貝文件：

[root@localhost /data]# hdfs dfs -copyFromLocal ./hello.txt /test/a/b
[root@localhost /data]# hdfs dfs -ls -R /
-rw-r--r--   1 root supergroup         49 2018-03-24 23:02 /hello.txt
drwxr-xr-x   - root supergroup          0 2018-03-24 23:04 /test
drwxr-xr-x   - root supergroup          0 2018-03-24 23:04 /test/a
drwxr-xr-x   - root supergroup          0 2018-03-24 23:06 /test/a/b
drwxr-xr-x   - root supergroup          0 2018-03-24 23:04 /test/a/b/c
-rw-r--r--   1 root supergroup         49 2018-03-24 23:06 /test/a/b/hello.txt
[root@localhost /data]#

8.從文件系統中拿出文件：

[root@localhost /data]# hdfs dfs -get /test/a/b/hello.txt

9.刪除文件：

[root@localhost /data]# hdfs dfs -rm /hello.txt
Deleted /hello.txt
[root@localhost /data]#

10.刪除目錄：

[root@localhost /data]# hdfs dfs -rm -R /test
Deleted /test
[root@localhost /data]#

以上就是最為常用的一些操作命令了，如果需要使用其他命令，直接執行hdfs dfs就可以查看到所支持的所有命令。

接下來我們在瀏覽器裏查看文件系統，首先將剛剛刪除的文件put回去：

[root@localhost /data]# hdfs dfs -put ./hello.txt /

在瀏覽器上查看文件系統：
技術分享圖片

查看文件的信息：
技術分享圖片

可以看到關於該文件的詳細信息：
技術分享圖片

由於這個文件太小了，所以只有一個數據塊。

我們來put一個比較大的文件，例如我們之前使用的Hadoop的安裝包：

[root@localhost /data]# cd /usr/local/src/
[root@localhost /usr/local/src]# hdfs dfs -put ./hadoop-2.6.0-cdh5.7.0.tar.gz /

如下，可以看到，這個文件被分為了三個數據塊：
技術分享圖片

HDFS偽分布式環境搭建

相關推薦

HDFS偽分布式環境搭建

Hadoop HDFS 大數據 偽分布式環境搭建 HDFS概述及設計目標 什麽是HDFS： 是Hadoop實現的一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS 源自於Google的GFS論文 論文發表於2003年，HDFS是GFS的克隆版

Hadoop2.x偽分布式環境搭建(一)

ava 內容 replicat 檢查 user form 基本 臨時 sla 1、安裝hadoop環境，以hadoop-2.5.0版本為例，搭建偽分布式環境，所需要工具包提供網盤下載：http://pan.baidu.com/s/1o8HR0Qu 2、上傳所需要的工具包到

HDFS偽分布式環境操作

。/；（一）、HDFS shell操作 以上已經介紹了如何搭建偽分布式的Hadoop，既然環境已經搭建起來了，那要怎麽去操作呢？這就是本節將要介紹的內容： HDFS自帶有一些shell命令，通過這些命令我們可以去操作HDFS文件系統，這些

NoSQL-redis-單機多實例，偽分布式環境搭建

地址 eat 圖片 info .com 開啟 enabled 生成 rep 1、需要6個redis實例 2、創建redis-cluster，拷貝6份，安裝生成得bin 3、修改配置文件 打開cluster-enabled yes前面得註釋 port 分別為7001，70

HDFS偽分布式環境操作-此文章在我的個人51.cto轉載

其他命令 col 這就是 logger dcom usr etc where mkdir -p （一）、HDFS shell操作 以上已經介紹了如何搭建偽分布式的Hadoop，既然環境已經搭建起來了，那要怎麽去操作呢？這就是本節將要介紹的

hadoop偽分布式環境搭建

hadoop1、準備1.1、在vmware上安裝centos7的虛擬機1.2、系統配置配置網絡# vi /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO=staticONBOOT=yesIPADDR=192.168.120.131GATEWAY=192.1

hadoop0.20.2偽分布式環境搭建

VM cal local 下載 lld map same ces task 雖然現在hadoop版本已經到了主流2點多的時代，但是對於學習大數據而言，我還是選擇從以前老的版本0.20.2學起。下面就是偽分布式的環境搭建過程。hadoop下載地址：http://archive

hadoop偽分布式環境搭建:linux操作系統安裝圖解

提問 光驅 存儲設備 -i 耐心 語言 圖文 目前 下載 本篇文章是接上一篇《新手入門篇：虛擬機搭建hadoop環境的詳細步驟》，上一篇有人問怎麽沒寫hadoop安裝。在文章開頭就已經說明了，hadoop安裝會在後面寫到，因為整個系列的文章涉及到每一步的截圖，導致文章整體很

Spark2.4.0偽分布式環境搭建

hadoop webui 路徑 安裝 title temp env idt ava 一、搭建環境的前提條件 　　環境：ubuntu-16.04 　　　　　hadoop-2.6.0 　　　　 jdk1.8.0_161。 　　　　　spark-2.4.0-bin-h

Hadoop初體驗：快速搭建Hadoop偽分布式環境

hadoop 偽分布式 大數據 0.前言 本文旨在使用一個全新安裝好的Linux系統從0開始進行Hadoop偽分布式環境的搭建，以達到快速搭建的目的，從而體驗Hadoop的魅力所在，為後面的繼續學習提供基礎環境。 對使用的系統環境作如下說明：操作系統：CentOS 6.5 64位主機I

Hadoop完全分布式環境搭建

操作 主目錄 可用 8.0 www map 是否 devel ice 前言 本文搭建了一個由三節點（master、slave1、slave2）構成的Hadoop完全分布式集群（區別單節點偽分布式集群），並通過Hadoop分布式計算的一個示例測試集群的正確性。 本文集群三

hadoop 分布式環境搭建處理

大數據 hadoop 一: 環境配置 二：系統環境的初始化 三：安裝hadoop與配置處理 四：環境測試 一: 環境配置 1.1系統軟件要求： 系統：CentOS 6.4 X64 軟件：Hadoop-2.5.2.tar.gz native-2.5.2.tar.gz jdk-7u6

VM上Hadoop3.1偽分布式模式搭建

RM .sh ota exe sysconfig s參數 CA 外網 地址 https://www.cnblogs.com/asker009/p/9126354.html 最近要搭建一個Hadoop做實驗，因為版本的問題遇到不少的坑，本文記錄VM上搭建的CentOS7.0

Hadoop分布式環境搭建

虛擬 文件 ado 進程 .com dev png per bsp 作者：gqk: 　　使用多個服務器訪問hadoop的各個進程； 　　Hadoop分布式環境搭建準備工作： 　　　　克隆三個虛擬機： 　　　　 　　　　機器規劃： 　　　 　　　　更改兩個機器的MAC的地址

【HADOOP】| 環境搭建：從零開始搭建hadoop大數據平臺（單機/偽分布式）-下

虛擬機克隆 成功 之前 藍色 ref pin highlight .gz xml文件 因篇幅過長，故分為兩節，上節主要說明hadoop運行環境和必須的基礎軟件，包括VMware虛擬機軟件的說明安裝、Xmanager5管理軟件以及CentOS操作系統的安裝和基本網絡配置。具體

hadoop偽分布式集群搭建與安裝（ubuntu系統）

log 結束 實的 變量 開啟 web 路徑 har ont 1：Vmware虛擬軟件裏面安裝好Ubuntu操作系統之後使用ifconfig命令查看一下ip; 2：使用Xsheel軟件遠程鏈接自己的虛擬機，方便操作。輸入自己ubuntu操作系統的賬號密碼之後就鏈接成

Hadoop簡介與偽分布式搭建—DAY01

fig 初始化 resolve 子網掩碼 產生 安裝包 ifcfg 指定 property 一、 Hadoop的一些相關概念及思想 1、hadoop的核心組成： （1）hdfs分布式文件系統 （2）mapreduce 分布式批處理運算框架 （3）yarn 分布式

python分布式爬蟲搭建開發環境（二）

back col 性能 16px 動態網頁 網頁 ebs {} 常見類 scrapy 優勢： resquests和Beautifulsoup都是庫，scrapy是框架 scrapy框架可以加入前兩項 scrapy基於twisted，性能是最大的優勢 scrapy方便擴展，

Hadoop（二）搭建偽分布式集群

tro check -- conf XML 可能 ado dem daemon 前言 　　前面只是大概介紹了一下Hadoop，現在就開始搭建集群了。我們下嘗試一下搭建一個最簡單的集群。之後為什麽要這樣搭建會慢慢的分享，先要看一下效果吧！ 一、Hadoop的三種運行模式（

Hadoop偽分布式搭建（本人新手，歡迎大家多多指導和關照）

web 生成 變量 open 密碼登錄 ssh 登陸 core 客戶 1.創建hadoop賬戶,創建用戶的home目錄並設置密碼。（useradd -m hadoop ） 2.本步驟可以不做（我是為了方便，給hadoop賦予了root權限）（vi /etc/sudoers