2. 程式人生 > >HDFS分布式文件系統

HDFS分布式文件系統

阿新 • • 發佈：2018-03-11
HDFS 分布式 文件系統

hadoopo原理
hadoop2.0的HA 機制有兩個namenode，一個是active namenode，狀態是active；另外一個是standby namenode，狀態是standby。兩者的狀態是可以切換的，但不能同時兩個都是active狀態，最多只有1個是active狀態。只有active namenode提供對外的服務，standby namenode是不對外服務的。active namenode和standby namenode之間通過NFS或者JN（journalnode，QJM方式）來同步數據。
.
Hadoop的簡介：
Hadoop是apache軟件基金會的開源分布式計算平臺hadoop集群包括兩種角色Mater和Slave。一個HDFS集群由一個運行於Master上的NameNode和若幹個運行於Slave節點的DataNode組成。

.
NameNode負責管理文件系統命名空間和客戶端對文件系統的訪問操作；DataNode管理存儲的數據。文件以塊形式在DataNode中存儲，假如一個塊大小設置為50MB，塊的副本數為3（通過設置塊的副本數來達到冗余效果，防止單個DataNode磁盤故障後數據丟失），一個40MB的文件將被存儲在一個塊中，然後將相同的3個塊存儲在3個DataNode中實現冗余。大文件將被切成小塊存儲。
.

項目要求：
搭建hadoop的HDFS，通過DataNode節點的添加與刪除實現HDFS空間動態增加與減少，以及HDFS文件系統的基本管理。
.
.
環境：
master：Redhat 6.5 x86 ：192.168.0.10

slave1：Redhat 6.5 x86 ：192.168.0.11
slave2：Redhat 6.5 x86 ：192.168.0.12
slave3：Redhat 6.5 x86 ：192.168.0.13
slave4：Redhat 6.5 x86 ：192.168.0.14

.
準備環境
master、slave1~3上配置域名解析與主機名

[root@centos1 /]# vim /etc/hosts
 192.168.0.10 master
 192.168.0.11 slave1
 192.168.0.12 slave2
 192.168.0.13 slave3"
.
[root@centos1 /]# vim /etc/sysconfig/network
HOSTNAME=master

[root@centos1 /]# reboot

.

**(slave1)**
[root@centos1 /]# scp [email protected]:/etc/hosts /etc/

[root@centos1 /]# vim /etc/sysconfig/network
HOSTNAME=slave1

[root@centos1 /]# reboot
.
**(slave2)**
[root@centos1 /]# scp [email protected]:/etc/hosts /etc/

[root@centos1 /]# vim /etc/sysconfig/network
HOSTNAME=slave2

[root@centos1 /]# reboot
.
**(slave3)**
[root@centos1 /]# scp [email protected]:/etc/hosts /etc/

[root@centos1 /]# vim /etc/sysconfig/network
HOSTNAME=slave3

[root@centos1 /]# reboot

.

(master 0.10)

JDK安裝
[root@centos1 /]# mount /dev/cdrom /media
[root@centos1 /]# tar zxf jdk-7u65-linux-x64.gz -C /usr/src
[root@centos1 /]# cd /usr/src
[root@centos1 /]# mv jdk1.7.0_65/ /usr/local/java
[root@centos1 /]# vim /etc/profile
export JAVA_HOME=/usr/local/java    //在末尾添加兩行
export PATH=$PATH:$JAVA_HOME/bin

.

[root@centos1 /]# source /etc/profile
[root@centos1 /]# java -version

.
添加hadoop用戶

[root@centos1 /]# useradd hadoop
[root@centos1 /]# passwd hadoop
同理：在slave1-slave3上重復步驟2）和步驟3），這裏就不在演示

.
配置SSH密鑰對
要求master免密碼登錄各slave，用於開啟相應服務。
Master無密碼連接slave，先切換hadoop用戶，用ssh-keygen按照默認配置直接按Enter鍵生成密鑰對，通過ssh-copy-id將公鑰復制至3個slave主機中，復制過程需要輸入slave主機的hadoop用戶密碼，作用是master遠程啟動slave。

[root@centos1 /]# su - hadoop
[root@centos1 /]# ssh-keygen
.
slave1上的hadoop用戶的密碼
[root@centos1 /]# ssh-copy-id -i .ssh/id_rsa.pub hadoop@slave1
[root@centos1 /]# ssh-copy-id -i .ssh/id_rsa.pub hadoop@slave2
[root@centos1 /]# ssh-copy-id -i .ssh/id_rsa.pub hadoop@slave3

.
安裝hadoop，在master和slave上配置環境變量。
.
安裝hadoop

[root@centos1 /]# exit
[root@centos1 /]# cd /meida
[root@centos1 /]# tar zxf hadoop-2.4.0.tar.gz -C /usr/src
[root@centos1 /]# cd /usr/src
[root@centos1 /]# mv hadoop-2.4.0/ /usr/local/hadoop
[root@centos1 /]# ls /usr/local/hadoop

hadoop不需編譯安裝，在上述6個目錄中etc/hadoop是住配置文件目錄sbin/下存放啟動停止腳本
.

[root@centos1 /]# chown -R hadoop:hadoop /usr/local/hadoop
.
配置環境變量
[root@centos1 /]# vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/bin

.
配置hadoop

[root@centos1 /]# cd /media

[root@centos1 /]# /bin/cp -r hadoop /usr/local/hadoop/etc/
[root@centos1 /]# su - hadoop
[root@centos1 /]# cd /usr/local/hadoop/etc/hadoop
[root@centos1 /]# vim hadoop-env.sh
export JAVA_HOME=/usr/local/java    //添加java環境變量

.
.

[root@centos1 /]# vim core-site.xml
<configuration>
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value> //master主機名
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>file:/usr/local/hadoop/tmp</value>
  <description>hadoop 臨時緩存目錄</description>
 </property>
</configuration>

.
.

[root@centos1 /]# mv mapred-site.xml.tempalte mapred.site.xml
[root@centos1 /]# vim mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>     //連接jobtrack服務區的配置項，默認local，map數為1，master是本機主機名
<value>master:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/usr/local/hadoop/var</value>    //作為本地計算機使用的文件夾，可配置多塊硬盤用，分隔
</property>
</configuration>

.
.

[root@centos1 /]# vim hdfs-site.xml

<configuration>
<property>
 <name>dfs.namenode.name.dir</name>
 <value>file:/usr/local/hadoop/name</value>
</property>
<property>
 <name>dfs.datanode.name.dir</name>
 <value>file:/usr/local/hadoop/name</value>
</property>
<property>
 <name>dfs.replication</name>
 <value>3</value>   //副本數每塊復制幾份
</property>
<property>
 <name>dfs.webhdfs.enabled</name>
 <value>true</value>    //啟用web訪問hdfs，訪問格式httpd://master:50070
</property>

.
.

[root@centos1 /]# vim masters

master  //在文件中指定namenode的主機名

[root@centos1 /]# vim slaves
slave1
slave2
slave3

指定datanode的主機名有多少slave就寫多少
.
每個slave主機重復步驟1）和步驟2）（即它們也需要安裝hadoop並設置環境變量），等前兩步完成了再由master通過SSH安全通道把剛才配置的6個文件復制給每個slave。
每個slave主機上重復1）和2）步驟的省略
.

[root@centos1 /]#  scp * slave1:/usr/local/hadoop/etc/hadoop

[root@centos1 /]#  scp * slave2:/usr/local/hadoop/etc/hadoop

[root@centos1 /]#  scp * slave3:/usr/local/hadoop/etc/hadoop

.
.
使用HDFS初始化master
格式化HDFS文件系統
[root@centos1 /]# hafs namenode -format

看到截圖說明成功
技術分享圖片

.
檢查新生成的目錄
[root@centos1 /]# ll /usr/local/hadoop/name/.
啟動hadoop群集（開機hadoop的冗余功能）
啟停hadoopde的管理命令位於@HADOOP_HOME/sbin下，以start-*或stop-*開頭；單獨啟動HDFS分布式文件系統可使用start-dfs.sh,也可以使用以下命令啟動整個hadoop集群
br/>.
啟動hadoop群集（開機hadoop的冗余功能）
啟停hadoopde的管理命令位於@HADOOP_HOME/sbin下，以start-*或stop-*開頭；單獨啟動HDFS分布式文件系統可使用start-dfs.sh,也可以使用以下命令啟動整個hadoop集群
（輸入master的hadoop用戶密碼）
（輸入slave的hadoop的用戶密碼，所有slave密碼要都一樣）
驗證訪問
.
技術分享圖片
。
技術分享圖片
。
技術分享圖片
[root@centos1 /]# service iptables stop
通過瀏覽器查看NameNode，即master，訪問http://192.168.0.10:50070,可以查看視圖統計信息和HDFS存儲信息等。
驗證之前先關閉master和所有slave的防火墻
.
.
hadoop基本命令
使用“hadoop fs”命令可以結合普通的文件管理命令實現很多操作，如查看、修改權限、統計、獲取幫助、創建、刪除、上傳下載文件等，更多的用法可使用“hadoop fs -help”或“hadoop fs -usage”命令查看。

[root@centos1 /]# hadoop fs -ls /
[root@centos1 /]# hadoop fs -mkdir /input
[root@centos1 /]# hadoop fs -ls /
[root@centos1 /]# hadoop fs -put /usr/local/hadoop/etc/hadoop/* /input
hadoop fs -ls /input

[root@centos1 /]# hdfs dfsadmin -report //查看所喲節點
的狀態

.
.
HDFS高級命令
開機安全模式

[root@centos1 /]# hdfs dfsadmin -safemode enter
[root@centos1 /]# hdfs dfsadmin -safemode leave

enter開啟安全模式
leaves關閉安全模式
安全模式下拒接寫入數據到slave，一般用於維護，修改配置文件的情況下，修改完就關閉安全模式
.
.
復制
將本地文件復制到HDFS上（註意不要在安全模式下）
[root@centos1 /]# hadoop fs -copyFormLocal /etc/passwd /

將/etc/passwd本地源文件復制到HDFS的/下
格式：hadoop fs -copyFromLocal 本地源文件 HDFS的目錄
.
將HDFS上的文件復制到本地

[root@centos1 /]# hadoop fs -ls

[root@centos1 /]# hadoop fs -copyFormLocal /passwd /var

[root@centos1 /]# chmod 777 /var/
[root@centos1 /]# hadoop fs -copyFormLocal /passwd /var

.
權限和歸屬
修改屬組

[root@centos1 /]# hadoop fs -chgrp root /passwd
[root@centos1 /]# hadoop fs -ls /passwd
格式：hadoop fs -chgrp [-R] group 文件或目錄

.
修改權限

[root@centos1 /]# hadoop fs -chmod 755 /passwd
[root@centos1 /]# hadoop fs -ls /passwd
格式：hadoop fs -chmod [-R] group 文件或目錄

.
修改所有者

[root@centos1 /]# hadoop fs -chown root:root /passwd
[root@centos1 /]# hadoop fs -ls /passwd
格式：hadoop fs -chown [-R] group 屬主：屬組 文件或目錄

.
統計顯示目錄中文件大小

[root@centos1 /]# hadoop fs -du -s -h /passwd
格式：hadoop fs -du 目錄

.
合並文件

[root@centos1 /]# touch secret
[root@centos1 /]# hadoop fs -getmerge -nl /passwd /home/hadoop/secret
[root@centos1 /]# head -3 secret
格式：hadoop fs -getmerge [-nl] HDFS的源文件 本地主機的目的文件 源文件和目的文件都是一樣的數據了

.
.
(slave4)
為HDFS集群添加節點
slave4節點安裝jdk與hadoop，配置環境變量

[root@centos1 /]# mount /dev/cdrom /media
[root@centos1 /]# useradd hadoop
[root@centos1 /]# passwd hadoop
[root@centos1 /]# tar zxf jdk-7u65-linux-x64.gz -C /usr/src
[root@centos1 /]# cd /usr/src
[root@centos1 /]# mv jdk1.7.0_65/ /usr/local/java

[root@centos1 /]# scp [email protected]:/etc/profile /etc

[root@centos1 /]# source /etc/profile
[root@centos1 /]# java -version

[root@centos1 /]# cd /meida
[root@centos1 /]# tar zxf hadoop-2.4.0.tar.gz -C /usr/src
[root@centos1 /]# cd /usr/src
[root@centos1 /]# mv hadoop-2.4.0/ /usr/local/hadoop

[root@centos1 /]# chown -R hadoop:hadoop /usr/local/hadoop

.
.

（master）
配置/etc/hosts解析，NameNode與4臺DataNode都要配置

[root@centos1 /]# vim /etc/hosts
192.168.0.10    master
192.168.0.11    slave1
192.168.0.12    slave2
192.168.0.13    slave3
192.168.0.14    slave4  //把新的節點slave4添加到master的hosts文件中

.
(slave1.2.3.4)

[root@centos1 /]# scp [email protected]:/etc/hosts /etc/
[root@centos1 /]# scp [email protected]:/etc/hosts /etc/
[root@centos1 /]# scp [email protected]:/etc/hosts /etc/
[root@centos1 /]# scp [email protected]:/etc/hosts /etc/

0.14重啟
.
（slave4）

[root@centos1 /]# vim /etc/sysconfig/network
HOSTNAME=slave4
重啟

.
(master)
配置ssh無密碼連接

[root@centos1 /]# su -hadoop
[root@centos1 /]# ssh-copy-id -i .ssh/id_rsa.pub hadoop@slave4

.
在master上修改hadoop配置後，復制到其他節點

[root@centos1 /]# vim /usr/local/hadoop/etc/hadoop/slaves
slave1
slave2
slave3
slave4
[root@centos1 /]# scp /usr/local/hadoop/etc/hadoop/* slave1:/usr/local/hadoop/etc/hadoop/
[root@centos1 /]# scp /usr/local/hadoop/etc/hadoop/* slave2:/usr/local/hadoop/etc/hadoop/
[root@centos1 /]# scp /usr/local/hadoop/etc/hadoop/* slave3:/usr/local/hadoop/etc/hadoop/
[root@centos1 /]# scp /usr/local/hadoop/etc/hadoop/* slave4:/usr/local/hadoop/etc/hadoop/

.
(slave4)
新節點啟動並平衡節點已經存儲的數據,啟動兩個

[root@centos1 /]# hadoop-daemon.sh start datanode
[root@centos1 /]# hadoop-daemon.sh start tasltracker

.
查看進程狀態有兩條說明正確

[root@centos1 /]# jps
3024 Jps
2924 DataNode

.
開啟負載均衡

[root@centos1 /]# start-balancer.sh

[root@centos1 /]# service iptables stop

.
(master)
查看集群信息
[root@centos1 /]# hadoop dfsadmin -report
.
刪除DataNode節點
增加exclude配置，作用為存放要刪除的DataNode信息

[root@centos1 /]# vim /usr/local/hadoop/etc/hadoop/core-site.xml

<property>
<name>dfs.hosts.exclude</name>
<value>/usr/local/hadoop/etc/hadoop/excludes</value>
</property>

[root@centos1 /]# cd /usr/local/hadoop/etc/hadoop
.
[root@centos1 /]#  vim excludes
slave4

.

刷新配置
[root@centos1 /]# hdfs dfsadmin -refreshNodes

.
(slave4)

檢查slave4的進程
[root@centos1 /]# jps

.
(master)
查看集群信息

[root@centos1 /]# hadoops fsadmin -report

當發現節點信息為decommisssioned時表明這個節點已經被刪除

HDFS分布式文件系統

相關推薦

54.HDFS分布式文件系統

linuxHDFS分布式文件系統HDFS系統借助於一款hadoop工具進行部署，文件系統的主要優勢是主要是提高客戶端的讀取效率，假如一塊1TB的磁盤數據需要讀取，讀取速度為100MB/S，如果將1塊磁盤中的數據分別存儲到100塊磁盤上，那麽當用戶讀取時，它們並行運行，那麽用戶讀取操作就可以瞬間完成。一個HDF

HDFS分布式文件系統

HDFS 分布式 文件系統 hadoopo原理hadoop2.0的HA 機制有兩個namenode，一個是active namenode，狀態是active；另外一個是standby namenode，狀態是standby。兩者的狀態是可以切換的，但不能同時兩個都是active狀態，最多只有1個是

Hadoop之HDFS分布式文件系統具有哪些優點？

大數據開發 Hadoop HDFS分布式文件系統 隨著互聯網數據規模的不斷增大，對文件存儲系統提出了更高的要求，需要更大的容量、更好的性能以及更高安全性的文件存儲系統，與傳統分布式文件系統一樣，HDFS分布式文件系統也是通過計算機網絡與節點相連，但也有優於傳統分布式文件系統的優點。1. 支持超

世界杯項目案例:HDFS分布式文件系統

tar 中文 刷新 str 裏的 技術分享 family 項目案例 nod 項目案例：HDFS分布式文件系統Hadoop的簡介：Hadoop是apache軟件基金會的開源分布式計算平臺hadoop集群包括兩種角色Mater和Slave。一個HDFS集群由一個運行於Mast

hadoop[4]-hdfs分布式文件系統的基本工作機制

names 技術 讀寫 在線 inux slave 策略 情況下 重命名文件 一、Namenode 和 Datanode HDFS采用master/slave架構。一個HDFS集群是由一個Namenode和一定數目的Datanodes組成。Namenode是一個中心服務器，

分布式文件系統比較出名的有HDFS? 和 GFS

sha 知識庫 repl 新浪微博 popu 騰訊 images 副本 replace 分布式文件系統比較出名的有HDFS 和 GFS，其中HDFS比較簡單一點。本文是一篇描述非常簡潔易懂的漫畫形式講解HDFS的原理。比一般PPT要通俗易懂很多。不難得的學習資料。1、三個

三、Hadoop的架構：存儲層(Hadoop分布式文件系統) HDFS

失效 主動 計算機 聯網 分布式文件系統 eight alt 部分 計算 存儲層(Hadoop分布式文件系統) HDFS一、分布式文件系統　　多臺計算機聯網協同工作(有時也稱為一個集群)就像單臺系統一樣解決某種問題，這樣的系統我們稱之為分布式系統。　　分布式文件系統是分布式

大數據技術原理與應用——分布式文件系統HDFS

大小 寫入 支持 lock 小文件 新的 配額 pan 內存 分布式文件系統HDFS 分布式文件系統 　　分布式文件系統把文件分布存儲到多個計算機節點上，成千上萬的計算機節點構成計算機集群。 　　分布式文件系統在物理結構上是由計算機集群中的多個節點構成的，一類叫主節點（

Linux之使用MogileFS分布式文件系統並使用nginx實現反向代理

mogilefs與nginx的點點滴滴MogileFS是一套高效的文件自動備份組件，由Six Apart開發，廣泛應用在包括LiveJournal等web2.0站點上。 MogileFS的特性： 工作在應用層，無單點，自動文件復制（復制的最小單位是class，而不是文件），傳輸中立且使用nfs或者http協議

MFS分布式文件系統管理

str 支持 metadata 備份 共享 restart cli 來講 並且 MFS官方網站http://www.moosefs.org/reference-guide.html mooseFS(moose駝鹿)是一款網絡分布式文件系統，它把數據分散到多臺服務器上，但對於

分布式文件系統--------GlusterFS最佳實戰

文件系統 分布式 glusterfs 1. 背景 GlusterFS 是一個開源的分布式文件系統，具有強大的橫向擴展能力，通過擴展能夠支持數PB存儲容量和處理數千客戶端。GlusterFS借助TCP/IP或InfiniBand RDMA(一種支持多並發鏈接的“轉換線纜”技術)網絡將物理分布的

CentOS 7 安裝配置分布式文件系統 FastDFS 5.10

fastdfs下載目前作者最後一次releases的時間的17年4月6號，對應的最新版本是5.10，直接在余大的GitHub上下載就可以了： https://github.com/happyfish100/fastdfs/releases如上圖，由於FastDFS是純C語言實現，只支持Linux、FreeBS

Linux搭建MFS分布式文件系統

分布式 mfs 文件 說明：架構規劃元數據服務器 mfs-master-1 172.16.100.2備份服務器 mfs-metalogger 172.16.100.4數據存儲服務器 mfs-chunkserver-1

各種分布式文件系統簡介

程序 mapred 同時 可擴展 .info 生產環境 故障 接受 51cto from:http://elf8848.iteye.com/blog/1724382 常見的分布式文件系統有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogil

pilicat-dfs 霹靂貓-分布式文件系統

功能介紹 tps jpg hit add 支持 linu data 註冊 pilicat-dfs 霹靂貓-分布式文件系統 一種可以將網站圖片或上傳的文件，進行分布式存放的服務，可自動復制到多臺物理機器，可滿足高可用和負載均衡 已編譯好的程序包 http://git.

FastDFS分布式文件系統

fastdfs安裝 fastdfs FastDFS簡介FastDFS是一個輕量級的開源分布式文件系統FastDFS主要解決了大容量的文件存儲和高並發訪問的問題，文件存取時實現了負載均衡FastDFS實現了軟件方式的RAID，可以使用廉價的IDE硬盤進行存儲支持存儲服務器在線擴容支持相同內容的文件只保

架構設計：系統存儲（28）——分布式文件系統Ceph（掛載）

all 兩個文件 原因 之前 來看 大數據 details 失敗 variable （接上文《架構設計：系統存儲（27）——分布式文件系統Ceph（安裝）》） 3. 連接到Ceph系統 3-1. 連接客戶端 完畢Ceph文件系統的創建過程後。就

FastDFS 分布式文件系統的安裝與使用

delete 編譯 默認 ast 替換 monit isa eve star 跟蹤服務器：192.168.152.129 (centos1) 存儲服務器：192.168.152.130 (centos2) 環境：CentOS 6.6 用戶：root 數據目錄：/fastdf

TFS分布式文件系統

宕機 http 最短 擴展 自己 擁有 air 問題 需要 簡介 TFS（Taobao !FileSystem）是一個高可擴展、高可用、高性能、面向互聯網服務的分布式文件系統，主要針對海量的非結構化數據，它構築在普通的Linux機器集群上，可為外部提供高可靠和高並

mfs之分布式文件系統

mfs 分布式文件系統 MFS文件系統的組成1、 元數據服務器。在整個體系中負責管理管理文件系統，目前MFS只支持一個元數據服務器master，這是一個單點故障，需要一個性能穩定的服務器來充當。希望今後MFS能支持多個master服務器，進一步提高系統的可靠性。2、 數據存儲服務器chunks