Hadoop分散式檔案系統——HDFS詳解

這篇主要聊一下Hadoop分散式檔案系統—HDFS

大綱：

1.HDFS設計目標

2.HDFS裡面的NameNode和DataNode

3.操作HDFS的兩種方式

1.HDFS設計目標

硬體錯誤

硬體錯誤是常態而不是異常。（每每讀這句我就想到了：程式設計師加班是常態不是異常）HDFS可能由成百上千的伺服器所構成，每個伺服器上儲存著檔案系統的部分資料。我們面對的現實是構成系統的元件數目是巨大的，而且任一元件都有可能失效，這意味著總是有一部分HDFS的元件是不工作的。因此錯誤檢測和快速、自動的恢復是HDFS最核心的架構目標。

流式資料訪問

HDFS結構思路是“一次寫入，多次讀取”。因為hadoop被用來分析久資料，每次分析都涉及到大部分資料集或者整個資料集，因此讀取整個資料集的時間延遲比讀取第一條記錄的時間延遲更重要，即：寧願開始讀取資料慢，但是讀取整個資料快，也不希望很快讀取開始的資料，但是後面的資料讀取很慢。

大規模資料集

超大檔案GB，TB，PB級的資料

簡單的一致性模型

HDFS應用需要一個“一次寫入多次讀取”的檔案訪問模型。一個檔案經過建立、寫入和關閉之後就不需要改變。這一假設簡化了資料一致性問題，並且使高吞吐量的資料訪問成為可能。Map/Reduce應用或者網路爬蟲應用都非常適合這個模型。目前還有計劃在將來擴充這個模型，使之支援檔案的附加寫操作。

“移動計算比移動資料更划算”

計算節點和資料節點在同一個計算中，減少網路中資料交換，帶來更快的速度

異構軟硬體平臺間的可移植性

HDFS在設計的時候就考慮到平臺的可移植性。這種特性方便了HDFS作為大規模資料應用平臺的推廣。

有了hadoop，讓上面得以實現

2.HDFS中的NameNode和DataNode

HDFS採用的master/slave架構。一個HDFS叢集是由一個Namenode和一定數目的Datanodes組成。Namenode是一箇中心伺服器，負責管理檔案系統的名字空間(namespace)以及客戶端對檔案的訪問。叢集中的Datanode一般是一個節點（節點的含義可以理解為一個主機）一個，負責管理它所在節點上的儲存。HDFS暴露了檔案系統的名字空間，使用者能夠以檔案的形式在上面儲存資料。從內部看，一個檔案其實被分成一個或多個數據塊，這些塊儲存在一組Datanode上。Namenode執行檔案系統的名字空間操作，比如開啟、關閉、重新命名檔案或目錄。它也負責確定資料塊到具體Datanode節點的對映。Datanode負責處理檔案系統客戶端的讀寫請求。在Namenode的統一排程下進行資料塊的建立、刪除和複製。

資料塊：我們知道計算機的磁碟都有預設資料塊的大小，檔案系統塊的大小是磁碟塊的整數倍，一般為幾千位元組，而磁碟塊一般為512位元組。HDFS也有塊的概念，預設是64MB。為什麼會這麼大了？大家都知道，磁碟之所以比較慢是因為磁碟的讀寫是機械的而hadoop主要是用來處理大資料的，為了節省定址時間，所以將一大塊資料放在一起，這樣可以節省處理資料的時間。

hadoop提供了一個綜合的檔案系統抽象，提供了檔案系統實現的各類介面。HDFS只是這個抽象檔案系統的一個實現

舉一個例子：

現在我要儲存一個2G的電影，上傳到HDFS上的流程是怎麼樣的呢？

1.HDFS為了資料安全性，預設情況下會將這個電影儲存3份（我們取個名字：原電影，備份一，備份二）。這個備份數是可以調整的。

2.2G的電影資料被切割成32份儲存在DataNode中。這個電影的資訊儲存在NameNode中

3.原電影和備份一會放在同一個機架上，備份二放在另一個機架上。這樣如果原電影因為某些原因資料丟失，還可以找到備份一（優勢：速度快，避免資料在網路中傳輸），在差一點如果機架因為天災壞了，我們還有第二個機架可以找到資料（優勢：保證安全）

3.實際操作HDFS

先把hadoo執行起來

啟動hadoop程式碼

[[email protected] ~]# su hadoop //切換到hadoop使用者
[[email protected] root]$ cd /usr/hadoop/hadoop-1.0.4/bin //進入bin目錄
[[email protected] bin]$ ls
hadoop start-all.sh stop-balancer.sh
hadoop-config.sh start-balancer.sh stop-dfs.sh
hadoop-daemon.sh start-dfs.sh stop-jobhistoryserver.sh
hadoop-daemons.sh start-jobhistoryserver.sh stop-mapred.sh
rcc start-mapred.sh task-controller
slaves.sh stop-all.sh
[[email protected] bin]$ ./start-all.sh //啟動
starting namenode, logging to /usr/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-hadoop-namenode-master.hadoop.out
192.168.81.129: starting datanode, logging to /usr/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-hadoop-datanode-slave01.hadoop.out
192.168.81.130: ssh: connect to host 192.168.81.130 port 22: No route to host
192.168.81.131: ssh: connect to host 192.168.81.131 port 22: No route to host
192.168.81.128: starting secondarynamenode, logging to /usr/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-hadoop-secondarynamenode-master.hadoop.out
starting jobtracker, logging to /usr/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-hadoop-jobtracker-master.hadoop.out
192.168.81.129: starting tasktracker, logging to /usr/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-hadoop-tasktracker-slave01.hadoop.out
192.168.81.130: ssh: connect to host 192.168.81.130 port 22: No route to host
192.168.81.131: ssh: connect to host 192.168.81.131 port 22: No route to host
[[email protected] bin]$

操作HDFS的方式這裡介紹兩種方式：

1.FS shell

在這裡提供詳細的FS shell指令碼

cat

使用方法：hadoop fs -cat URI [URI …]

將路徑指定檔案的內容輸出到stdout。

示例：

hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4

返回值：
-->成功返回0，失敗返回-1。

chgrp

使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …]

改變檔案所屬的組。使用-R將使改變在目錄結構下遞迴進行。命令的使用者必須是檔案的所有者或者超級使用者。

chmod

使用方法：hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

改變檔案的許可權。使用-R將使改變在目錄結構下遞迴進行。命令的使用者必須是檔案的所有者或者超級使用者。

chown

使用方法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

改變檔案的擁有者。使用-R將使改變在目錄結構下遞迴進行。命令的使用者必須是超級使用者。

copyFromLocal

使用方法：hadoop fs -copyFromLocal <localsrc> URI

除了限定源路徑是一個本地檔案外，和put命令相似。

copyToLocal

使用方法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

除了限定目標路徑是一個本地檔案外，和get命令類似。

cp

使用方法：hadoop fs -cp URI [URI …] <dest>

將檔案從源路徑複製到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。
示例：

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

返回值：

成功返回0，失敗返回-1。

du

使用方法：hadoop fs -du URI [URI …]

顯示目錄中所有檔案的大小，或者當只指定一個檔案時，顯示此檔案的大小。
示例：
hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
返回值：
成功返回0，失敗返回-1。

dus

使用方法：hadoop fs -dus <args>

顯示檔案的大小。

expunge

使用方法：hadoop fs -expunge

清空回收站。請參考HDFS設計文件以獲取更多關於回收站特性的資訊。

get

使用方法：hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>

複製檔案到本地檔案系統。可用-ignorecrc選項複製CRC校驗失敗的檔案。使用-crc選項複製檔案以及CRC資訊。

示例：

hadoop fs -get /user/hadoop/file localfile
hadoop fs -get hdfs://host:port/user/hadoop/file localfile

返回值：

成功返回0，失敗返回-1。

getmerge

使用方法：hadoop fs -getmerge <src> <localdst> [addnl]

接受一個源目錄和一個目標檔案作為輸入，並且將源目錄中所有的檔案連線成本地目標檔案。addnl是可選的，用於指定在每個檔案結尾新增一個換行符。

ls

使用方法：hadoop fs -ls <args>

如果是檔案，則按照如下格式返回檔案資訊：
檔名 <副本數> 檔案大小修改日期修改時間許可權使用者ID 組ID
如果是目錄，則返回它直接子檔案的一個列表，就像在Unix中一樣。目錄返回列表的資訊如下：
目錄名 <dir> 修改日期修改時間許可權使用者ID 組ID
示例：
hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
返回值：
成功返回0，失敗返回-1。

lsr

使用方法：hadoop fs -lsr <args>
ls命令的遞迴版本。類似於Unix中的ls -R。

mkdir

使用方法：hadoop fs -mkdir <paths>

接受路徑指定的uri作為引數，建立這些目錄。其行為類似於Unix的mkdir -p，它會建立路徑中的各級父目錄。

示例：

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir

使用方法：hadoop fs -setrep [-R] <path>

改變一個檔案的副本系數。-R選項用於遞迴改變目錄下所有檔案的副本系數。

示例：

hadoop fs -setrep -w 3 -R /user/hadoop/dir1

返回值：

成功返回0，失敗返回-1。

stat

使用方法：hadoop fs -stat URI [URI …]

返回指定路徑的統計資訊。

示例：

hadoop fs -stat path

返回值：
成功返回0，失敗返回-1。

tail

使用方法：hadoop fs -tail [-f] URI

將檔案尾部1K位元組的內容輸出到stdout。支援-f選項，行為和Unix中一致。

示例：

hadoop fs -tail pathname

返回值：
成功返回0，失敗返回-1。

test

使用方法：hadoop fs -test -[ezd] URI

選項：
-e 檢查檔案是否存在。如果存在則返回0。
-z 檢查檔案是否是0位元組。如果是則返回0。
-d 如果路徑是個目錄，則返回1，否則返回0。

示例：

hadoop fs -test -e filename

text

使用方法：hadoop fs -text <src>

將原始檔輸出為文字格式。允許的格式是zip和TextRecordInputStream。

touchz

使用方法：hadoop fs -touchz URI [URI …]

建立一個0位元組的空檔案。

示例：

hadoop -touchz pathname

返回值：
成功返回0，失敗返回-1。

2.Java操作HDFS

首先將hadoop下lib裡面的jar包都複製到Java專案中

Java操作hdfs程式碼

package com.sxt.hdfs;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapreduce.lib.db.DBInputFormat;
/**
*
* @title HelloWordHDFS
* @description 入門hadoop的HDFS
* @author hadoop
* @version
* @copyright (c) SINOSOFT
*
*/
public class HelloWordHDFS {
/**
* 操作檔案無非就是增加檔案，修改檔案，刪除檔案，查詢檔案
*/
/**
* 增加一個檔案
* @throws Exception
*/
public void addFile() throws Exception{
//載入配置檔案
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
Path path = new Path("/user/helloHDFS/test.txt");
//直接新建一個空白檔案
fs.createNewFile(path);
//更多的時候專案中是從一個地方將檔案複製到另一個地方
Path sou = new Path("d://SALES.DMP");
Path tag = new Path("/user/helloHDFS");
fs.copyFromLocalFile(sou, tag);
fs.close();
}
/**
*
* @title updateFile
* @description 修改檔案，我們在檔案末尾追加
* @author hadoop
* @throws Exception
*/
public void updateFile() throws Exception{
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
Path path = new Path("/user/helloHDFS/test.txt");
FSDataOutputStream out = fs.append(path);
out.writeChars("中文jkjkjk#$%^**(((");
out.flush();
out.close();
fs.close();
}
/**
*
* @title deleteFile
* @description 刪除一個檔案
* @author hadoop
* @throws Exception
*/
public void deleteFile()throws Exception{
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
Path path = new Path("/user/hadoop/111.txt");
fs.deleteOnExit(path);
fs.close();
}
/**
*
* @title readFile
* @description 讀取檔案
* @author hadoop
* @throws Exception
*/
public void readFile()throws Exception{
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
FSDataInputStream input = fs.open(new Path("/user/helloHDFS/test.txt"));
String temp = "";
System.err.println(new String (input.readLine().getBytes("ISO-8859-1"),"gb2312"));
// System.err.println(new String(b));
// System.err.println(temp);
}
public void testDB()throws Exception{
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
// DBInputFormat<DBWritable>
}
public static void main(String[] args) throws Exception {
HelloWordHDFS hw = new HelloWordHDFS();
//1.測試增加檔案
//hw.addFile();
//2.測試更新檔案
// for(int i = 0 ; i < 5 ; i++){
相關推薦

Hadoop分散式檔案系統——HDFS詳解

這篇主要聊一下Hadoop分散式檔案系統—HDFS 大綱： 1.HDFS設計目標 2.HDFS裡面的NameNode和DataNode 3.操作HDFS的兩種方式 1.HDFS設計目標硬體錯誤硬體錯誤是常態而不是異常。（每每讀這句我就想到了：程式設計師加

分散式檔案系統FastDFS詳解

本文轉載自:Ubuntu下FastDFS分散式檔案系統配置與部署 Ubuntu下FastDFS分散式檔案系統配置與部署白寧超 2017年4月15日09:11:52 摘要: FastDFS是一個開源的輕量級分散式檔案系統，功能包括：檔案儲存、檔案同步、檔案訪問（檔案上傳、檔案下載）等，

Hadoop分散式檔案系統HDFS架構

1 Master(NameNode/NN) 帶 N個Slaves(DataNode/DN) HDFS/YARN/HBase 1個檔案會被拆分成多個Block blocksize：128M 130M =

Hadoop分散式檔案系統(HDFS)的基本命令

轉載於：https://blog.csdn.net/zhaojw_420/article/details/531616241、-help[cmd] 顯示命令的幫助資訊./hdfs dfs -help ls12、-ls(r) 顯示當前目錄下的所有檔案 -R層層循出文件夾./hd

Hadoop分散式檔案系統——HDFS的讀寫

HDFS是執行在通用硬體平臺上的可容錯分散式檔案系統。它優化了大檔案的流式讀取模式，適用於那些高吞吐並且對延遲性要求相對比較低的場景。它還通過檔案“一次寫入，多次讀取”的簡單策略保證了資料的一致性。HDFS亦使用了“塊複製”的概念，讓資料在叢集的

Hadoop分散式檔案系統——HDFS概念以及hdfs讀寫資料

HDFS一流式資料訪問模式來儲存超大檔案，運行於商用硬體叢集上。一、HDFS 的概念 1、資料塊：（1）每個磁碟都有預設的資料塊大小，這是磁碟進行資料讀/寫的最小單位（2） HDFS有資料塊的概念，預設是64M，hadoop2中是

Hadoop分散式檔案系統--HDFS結構分析

前言在Hadoop內部，具體實現了許多類的檔案系統，當然最最被我們用到的就是他的分散式檔案系統HDFS了。但是本篇文章不會講HDFS的主從架構等東西，因為這些東西網上和資料書中都講得很多了。所以，我決定以我個人的學習所得，來講講HDFS內部的一些有意思的東西

Hadoop檔案儲存系統-HDFS詳解以及java程式設計實現

前言這是關於Hadoop的系列文章。背景我們在本系列的第一篇文章的時候就談到過，面對海量資料，我們最為缺乏的就是對大資料量的儲存能力以及處理能力。而這兩種能力在Hadoop的體現分別就是HDFS以及map-redu

深入理解HDFS：Hadoop分散式檔案系統

文字詳細介紹了HDFS中的許多概念，對於理解Hadoop分散式檔案系統很有幫助。 1. 介紹在現代的企業環境中，單機容量往往無法儲存大量資料，需要跨機器儲存。統一管理分佈在叢集上的檔案系統稱為分散式檔案系統。而一旦在系統中，引入網路，就不可避免地引入了所有

Hadoop分散式檔案系統：HDFS架構和設計（3）

HDFS被設計成能夠在一個大叢集中跨機器可靠地儲存超大檔案。它將每個檔案儲存成一系列的資料塊，除了最後一個，所有的資料塊都是同樣大小的。為了容錯，檔案的所有資料塊都會有副本。每個檔案的資料塊大小和副本系數都是可配置的。應用程式可以指定某個檔案的副本數目。副本系數可以在檔案建立的時候指定，也可以在之後改變。

Hadoop分散式檔案系統（HDFS）：架構和設計

HDFS被設計成能夠在一個大叢集中跨機器可靠地儲存超大檔案。它將每個檔案儲存成一系列的資料塊，除了最後一個，所有的資料塊都是同樣大小的。為了容錯，檔案的所有資料塊都會有副本。每個檔案的資料塊大小和副本系數都是可配置的。應用程式可以指定某個檔案的副本數目。副本系數可以在檔案建立的時候指定，也可以在之後改

hadoop分散式檔案系統（HDFS）常用API學習

1、org.apache.hadoop.fs.FileSystem 範圍方法返回值描述 addDelegationTokens(String renewer, Cre

hadoop分散式檔案系統（HDFS）常用操作

使用命令hadoop fs可以檢視所有的命令，基本上和linux系統命令類似 1、建立資料夾（預設使用者根目錄） hadoop fs -mkdir peom 2、檢視檔案（可以看到許可權，檔案所屬，以及組屬性） hadoop fs -ls /user/lhy 3、將

[hadoop]HDFS（Hadoop分散式檔案系統）（一）

Hadoop的起源： Hadoop是Google的集群系統的開源實現 Google集群系統：GFS(Google File System)、 MapReduce、BigTableHadoop主要由HDFS(Hadoop Distributed File System Ha

Hadoop 系列（一）—— 分散式檔案系統 HDFS

一、介紹 HDFS （Hadoop Distributed File System）是 Hadoop 下的分散式檔案系統，具有高容錯、高吞吐量等特性，可以部署在低成本的硬體上。二、HDFS 設計原理 2.1 HDFS 架構 HDFS 遵循主/從架構，由單個 NameNode(NN) 和多個 Data

Atitit 分散式檔案系統 hdfs nfs fastfs 目錄 1. 分散式檔案系統 1 2. 什麼是FastDFS 1 2.1. FastDFS特性： 1 2.1.1. fastdfs是否可在

Atitit 分散式檔案系統 hdfs nfs fastfs 目錄 1. 分散式檔案系統 1 2. 什麼是FastDFS 1 2.1. FastDFS特性： 1 2.1.1. fastdfs是否可在windows系統下安裝?可以的話,哪位可以..._百度知道 2

05_Linux常用檔案系統命令詳解，看不懂，我吃s！

常用檔案系統命令詳解磁碟管理： cd change directory 常使用方式： cd sourcedir 進入使用者主目錄 cd ~ 進入使用者主目錄 cd -

第3章:Hadoop分散式檔案系統(2)

資料流讀取檔案資料的剖析為了知道客戶端與HDFS，NameNode,DataNode互動過程中資料的流向，請看圖3-2，這張圖顯示了讀取檔案過程中主要的事件順序。客戶端通過呼叫FileSystem物件的open()方法開啟一個希望從中讀取資料的檔案，對於HDFS來說，FileSystem是一個Dis

Hadoop分散式檔案系統搭建以及基本操作

1. 環境搭建 jdk-1.8 jdk下載地址 export JAVA_HOME = /usr/lib/java/jdk1.7.0_21 export PATH =$JAVA_HOME/bin:$PATH hadoop-2.7.3 hadoop各個版本

第八課-第三講磁碟及檔案系統管理詳解之一

一、磁碟管理（詳細的講解硬碟的原理）機械式硬碟---（cpu，記憶體是電氣裝置）U盤光碟軟盤硬碟出廠前有一次“低階格式化”，劃分磁軌分割槽：建立獨立的檔案系統MBR：Master Booter Record 主引導記錄 0盤面 0磁軌 0扇區 512個位元組，不屬於任何一個作業系統。作業系統不能直接訪問

Hadoop分散式檔案系統——HDFS詳解

1.HDFS設計目標

硬體錯誤

流式資料訪問

大規模資料集

簡單的一致性模型

“移動計算比移動資料更划算”

異構軟硬體平臺間的可移植性

2.HDFS中的NameNode和DataNode

3.實際操作HDFS

1.FS shell

cat

chgrp

chmod

chown

copyFromLocal

copyToLocal

cp

du

dus

expunge

get

getmerge

ls

lsr

mkdir

movefromLocal

mv

put

rm

rmr

setrep

stat

tail

test

text

touchz

2.Java操作HDFS

相關推薦