1. 程式人生 > >分布式文件系統比較出名的有HDFS? 和 GFS

分布式文件系統比較出名的有HDFS? 和 GFS

sha 知識庫 repl 新浪微博 popu 騰訊 images 副本 replace

分布式文件系統比較出名的有HDFS 和 GFS,其中HDFS比較簡單一點。本文是一篇描述非常簡潔易懂的漫畫形式講解HDFS的原理。比一般PPT要通俗易懂很多。不難得的學習資料。

1、三個部分: 客戶端、nameserver(可理解為主控和文件索引,類似Linux的inode)、datanode(存放實際數據)

技術分享

在這裏,client的形式我所了解的有兩種,通過Hadoop提供的api所編寫的程序可以和hdfs進行交互,另外一種就是安裝了hadoop的datanode其也可以通過命令行與hdfs系統進行交互,如在datanode上上傳則使用如下命令行:bin/hadoop fs -put example1 user/chunk/

2、如何寫數據過程

技術分享

技術分享

技術分享

技術分享

技術分享

技術分享

3、讀取數據過程

--------------------------------1.翻譯經典 HDFS 原理講解漫畫 之二----讀數據和容錯 - hudiefenmu的專欄 - CSDN博客http://blog.csdn.net/hudiefenmu/article/details/37694503

== 以上 2017/7/8 下午12:40:15

技術分享

4、容錯:第一部分:故障類型及其檢測方法(nodeserver 故障,和網絡故障,和臟數據問題)

技術分享

技術分享

5、容錯第二部分:讀寫容錯

--------------------------------1.翻譯經典 HDFS 原理講解漫畫 之三---容錯和副本布局策略 - hudiefenmu的專欄 - CSDN博客http://blog.csdn.net/hudiefenmu/article/details/37820789
== 以上 2017/7/8 下午12:41:57


技術分享

6、容錯第三部分:dataNode 失效

技術分享

7、備份規則

技術分享

8、結束語

技術分享



來源: http://blog.csdn.net/hipilee/article/details/7855612

參考:

--------------------------------1.【轉】【漫畫解讀】HDFS存儲原理 - Bodi - 博客園http://www.cnblogs.com/raphael5200/p/5497218.html
== 以上 2017/7/8 下午12:44:07


分布式文件系統比較出名的有HDFS? 和 GFS