1. 程式人生 > >Hadoop(2): Blocks存儲管理及讀寫

Hadoop(2): Blocks存儲管理及讀寫

存儲管理 src -h rep big play eno shu ack

為了提供Fault Tolerance,Hadoop Namenode在獲取rack id後,會將Block復制幾份存放在不同的rack中。該算法稱為Rack Awreness, 如下圖

技術分享圖片

HDFS 寫流程:

1. 建立pipline

技術分享圖片

2. Streaming Data

技術分享圖片

3.Shutdown and Acknoledgement:

技術分享圖片

多Blocks的並行操作:

For Block A: 1A -> 2A -> 3A -> 4A
For Block B: 1B -> 2B -> 3B -> 4B -> 5B -> 6B

技術分享圖片

HDFS Read:

技術分享圖片

https://www.edureka.co/blog/apache-hadoop-hdfs-architecture/#datanode

https://www.coursera.org/learn/big-data-essentials/lecture/JmzZr/block-and-replica-states-recovery-process-1

Hadoop(2): Blocks存儲管理及讀寫