1. 程式人生 > >hbase 讀寫資料流程----文字簡介

hbase 讀寫資料流程----文字簡介

hbase讀取資料流程
0、client發出請求
1、訪問zk
2、zookeeper返回-ROOT-表所在的資訊,返回的是位置資訊
-ROOT-表中儲存了.META表的元資料資訊
.META表儲存了Region的元資料
-ROOT-:只對應一個region,不能切分,通過-ROOT-表可以讀取到.META表中的元資料資訊
.META:可以儲存在多個region中,訪問的是儲存業務資料的元資料資訊,可以切分
region:
3、根據元資料資訊找到查詢的資料所在regionserver
4、根據-ROOT-表資訊找到.META表
5、根據.META返回的元資料資訊找到對應的Region
6、資料返回到客戶端

hbase讀取資料詳細流程
1、通過region去memstore中去讀
2、如果讀到直接返回
3、如果找不到去blockcache查詢
4、如果還找不到就在hdfs中查詢Hfile
5、快取,層層返回
6、最後到客戶端
memstore負責寫入資料的快取
blockcache負責讀取資料的快取
讀取分離

hbase寫資料流程
1、客戶端請求zk獲取表的元資料資訊
2、通過rpc協議與Regionserver進行互動,通過-ROOT-表與.META表連線到Regionserver
3、先寫入對應的Hlog中
4、查詢對應的Region
5、儲存到Memstore中,16K
6、Memstore達到一定閾值後,就溢寫到Hfile中