hbase在hdfs上的詳細目錄結構

阿新 • • 發佈：2018-12-14

hbase目錄結構如圖：

列出/hbase目錄下的所有目錄和檔案，結構如下：

drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/.tmp
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/.tmp/data
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/.tmp/data/hbase

drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/MasterProcWALs
-rw-r--r--   1 root supergroup          0 2018-10-27 18:26 /hbase/MasterProcWALs/state-00000000000000000003.log

drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/WALs
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/WALs/bigdata111,16201,1540635983442
-rw-r--r--   1 root supergroup         83 2018-10-27 18:26 /hbase/WALs/bigdata111,16201,1540635983442/bigdata111%2C16201%2C1540635983442.1540635991168
-rw-r--r--   1 root supergroup         83 2018-10-27 18:26 /hbase/WALs/bigdata111,16201,1540635983442/bigdata111%2C16201%2C1540635983442.meta.1540635991546.meta

drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/default
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/meta
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/meta/.tabledesc
-rw-r--r--   1 root supergroup        398 2018-10-27 18:26 /hbase/data/hbase/meta/.tabledesc/.tableinfo.0000000001
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/meta/.tmp
drwxr-xr-x   - root supergroup          0 2018-10-27 18:36 /hbase/data/hbase/meta/1588230740
-rw-r--r--   1 root supergroup         32 2018-10-27 18:26 /hbase/data/hbase/meta/1588230740/.regioninfo
drwxr-xr-x   - root supergroup          0 2018-10-27 18:36 /hbase/data/hbase/meta/1588230740/.tmp
drwxr-xr-x   - root supergroup          0 2018-10-27 18:36 /hbase/data/hbase/meta/1588230740/info
-rw-r--r--   1 root supergroup       5397 2018-10-27 18:36 /hbase/data/hbase/meta/1588230740/info/eae735e8d1824bffa04eed7336397113
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/meta/1588230740/recovered.edits
-rw-r--r--   1 root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/meta/1588230740/recovered.edits/3.seqid
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/namespace
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/namespace/.tabledesc
-rw-r--r--   1 root supergroup        312 2018-10-27 18:26 /hbase/data/hbase/namespace/.tabledesc/.tableinfo.0000000001
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/namespace/.tmp
drwxr-xr-x   - root supergroup          0 2018-10-27 18:36 /hbase/data/hbase/namespace/8a0cf0539605aa1c70908eac9a24da58
-rw-r--r--   1 root supergroup         42 2018-10-27 18:26 /hbase/data/hbase/namespace/8a0cf0539605aa1c70908eac9a24da58/.regioninfo
drwxr-xr-x   - root supergroup          0 2018-10-27 18:36 /hbase/data/hbase/namespace/8a0cf0539605aa1c70908eac9a24da58/.tmp
drwxr-xr-x   - root supergroup          0 2018-10-27 18:36 /hbase/data/hbase/namespace/8a0cf0539605aa1c70908eac9a24da58/info
-rw-r--r--   1 root supergroup       4963 2018-10-27 18:36 /hbase/data/hbase/namespace/8a0cf0539605aa1c70908eac9a24da58/info/6f69ab990ede4b1f9f5dc42d83c56b48
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/namespace/8a0cf0539605aa1c70908eac9a24da58/recovered.edits
-rw-r--r--   1 root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/namespace/8a0cf0539605aa1c70908eac9a24da58/recovered.edits/2.seqid
-rw-r--r--   1 root supergroup         42 2018-10-27 18:26 /hbase/hbase.id
-rw-r--r--   1 root supergroup          7 2018-10-27 18:26 /hbase/hbase.version
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/oldWALs

/hbase下包含2個檔案和5個目錄。

（1）hbase.id

hbase.id檔案記錄了hbase的id，具體內容如下：

PBUF
$3eee3dad-50e2-4dc7-84a3-e1a8b80a0064

（2）hbase.version

hbase.version記錄了hbase的版本，是一個二進位制檔案，內容如圖：

（3）.tmp

（4）MasterProcWALs

MasterProcWALs目錄下含有一個HMaster主節點狀態日誌檔案，如圖：

起初，日誌內容為空

（5）WALs

其中bigdata111%2C16201%2C1540635983442.1540635991168日誌內容如圖：

（6）oldWALs

hbase操作相關的舊日誌存放目錄，如圖：

（7）data

data目錄是最重要的目錄，儲存hbase資料，下面含有兩個名稱空間default和hbase，其中default是預設名稱空間，如果建立的表未指定名稱空間，將存放在該名稱空間下，habse是系統名稱空間，他們分別對應default和hbase目錄，其中剛開始default目錄為空，而hbase目錄結構如下：

2、HBase相關操作後目錄變化

建立表mytable

create 'mytable','cf'

之後，目錄結構如下：

drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/.tmp
drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/.tmp/data
drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/.tmp/data/default
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/.tmp/data/hbase
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/MasterProcWALs
-rw-r--r--   1 root supergroup        461 2018-10-27 18:26 /hbase/MasterProcWALs/state-00000000000000000003.log
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/WALs
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/WALs/bigdata111,16201,1540635983442
-rw-r--r--   1 root supergroup         83 2018-10-27 18:26 /hbase/WALs/bigdata111,16201,1540635983442/bigdata111%2C16201%2C1540635983442.1540635991168
-rw-r--r--   1 root supergroup         83 2018-10-27 18:26 /hbase/WALs/bigdata111,16201,1540635983442/bigdata111%2C16201%2C1540635983442.meta.1540635991546.meta
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data
drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/data/default
drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/data/default/mytable
drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/data/default/mytable/.tabledesc
-rw-r--r--   1 root supergroup        285 2018-10-27 18:57 /hbase/data/default/mytable/.tabledesc/.tableinfo.0000000001
drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/data/default/mytable/.tmp
drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b
-rw-r--r--   1 root supergroup         42 2018-10-27 18:57 /hbase/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b/.regioninfo
drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b/cf
drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b/recovered.edits
-rw-r--r--   1 root supergroup          0 2018-10-27 18:57 /hbase/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b/recovered.edits/2.seqid
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/meta
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/meta/.tabledesc
-rw-r--r--   1 root supergroup        398 2018-10-27 18:26 /hbase/data/hbase/meta/.tabledesc/.tableinfo.0000000001
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/meta/.tmp
drwxr-xr-x   - root supergroup          0 2018-10-27 18:36 /hbase/data/hbase/meta/1588230740
-rw-r--r--   1 root supergroup         32 2018-10-27 18:26 /hbase/data/hbase/meta/1588230740/.regioninfo
drwxr-xr-x   - root supergroup          0 2018-10-27 18:36 /hbase/data/hbase/meta/1588230740/.tmp
drwxr-xr-x   - root supergroup          0 2018-10-27 18:36 /hbase/data/hbase/meta/1588230740/info
-rw-r--r--   1 root supergroup       5397 2018-10-27 18:36 /hbase/data/hbase/meta/1588230740/info/eae735e8d1824bffa04eed7336397113
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/meta/1588230740/recovered.edits
-rw-r--r--   1 root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/meta/1588230740/recovered.edits/3.seqid
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/namespace
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/namespace/.tabledesc
-rw-r--r--   1 root supergroup        312 2018-10-27 18:26 /hbase/data/hbase/namespace/.tabledesc/.tableinfo.0000000001
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/namespace/.tmp
drwxr-xr-x   - root supergroup          0 2018-10-27 18:36 /hbase/data/hbase/namespace/8a0cf0539605aa1c70908eac9a24da58
-rw-r--r--   1 root supergroup         42 2018-10-27 18:26 /hbase/data/hbase/namespace/8a0cf0539605aa1c70908eac9a24da58/.regioninfo
drwxr-xr-x   - root supergroup          0 2018-10-27 18:36 /hbase/data/hbase/namespace/8a0cf0539605aa1c70908eac9a24da58/.tmp
drwxr-xr-x   - root supergroup          0 2018-10-27 18:36 /hbase/data/hbase/namespace/8a0cf0539605aa1c70908eac9a24da58/info
-rw-r--r--   1 root supergroup       4963 2018-10-27 18:36 /hbase/data/hbase/namespace/8a0cf0539605aa1c70908eac9a24da58/info/6f69ab990ede4b1f9f5dc42d83c56b48
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/namespace/8a0cf0539605aa1c70908eac9a24da58/recovered.edits
-rw-r--r--   1 root supergroup          0 2018-10-27 18:26 /hbase/data/hbase/namespace/8a0cf0539605aa1c70908eac9a24da58/recovered.edits/2.seqid
-rw-r--r--   1 root supergroup         42 2018-10-27 18:26 /hbase/hbase.id
-rw-r--r--   1 root supergroup          7 2018-10-27 18:26 /hbase/hbase.version
drwxr-xr-x   - root supergroup          0 2018-10-27 18:26 /hbase/oldWALs

目錄變化：

.tmp目錄：增加了/hbase/.tmp/data/default 空目錄；

MasterProcWALs目錄：state-00000000000000000003.log中記錄了操作日誌，一段時間見後會被刪除，重新建立state-00000000000000000004.log空白日誌檔案；

WALs目錄：記錄建立表的相關日誌；

data目錄：增加了mytable目錄，結構如下：

drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/data/default/mytable
drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/data/default/mytable/.tabledesc
-rw-r--r--   1 root supergroup        285 2018-10-27 18:57 /hbase/data/default/mytable/.tabledesc/.tableinfo.0000000001
drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/data/default/mytable/.tmp
drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b
-rw-r--r--   1 root supergroup         42 2018-10-27 18:57 /hbase/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b/.regioninfo
drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b/cf
drwxr-xr-x   - root supergroup          0 2018-10-27 18:57 /hbase/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b/recovered.edits
-rw-r--r--   1 root supergroup          0 2018-10-27 18:57 /hbase/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b/recovered.edits/2.seqid

插入資料後，cf目錄下不會立即生成資料檔案，而是儲存在記憶體（MemStore）中，當執行stop-hbase.sh關閉HBase後會將資料重新整理到檔案中，如圖：

刪除表後增加/archive目錄，刪除的表放入該目錄下，如圖：

drwxr-xr-x   - root supergroup          0 2018-10-27 20:03 /hbase/archive/data
drwxr-xr-x   - root supergroup          0 2018-10-27 20:03 /hbase/archive/data/default
drwxr-xr-x   - root supergroup          0 2018-10-27 20:03 /hbase/archive/data/default/mytable
drwxr-xr-x   - root supergroup          0 2018-10-27 20:03 /hbase/archive/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b
drwxr-xr-x   - root supergroup          0 2018-10-27 20:03 /hbase/archive/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b/cf
-rw-r--r--   1 root supergroup       5004 2018-10-27 20:03 /hbase/archive/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b/cf/eab191595e614af0b75e14475fd58eca
drwxr-xr-x   - root supergroup          0 2018-10-27 20:03 /hbase/archive/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b/cf-2
-rw-r--r--   1 root supergroup       4930 2018-10-27 20:03 /hbase/archive/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b/cf-2/d26b377dfb8c43e4abee2d5e79a7180d
drwxr-xr-x   - root supergroup          0 2018-10-27 20:03 /hbase/archive/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b/recovered.edits
-rw-r--r--   1 root supergroup          0 2018-10-27 20:03 /hbase/archive/data/default/mytable/bcc4a32d806193ddf0600d026237ff8b/recovered.edits/22.seqid

hbase在hdfs上的詳細目錄結構

hbase目錄結構如圖：列出/hbase目錄下的所有目錄和檔案，結構如下： drwxr-xr-x - root supergroup 0 2018-10-27 18:26 /hbase/.tmp drwxr-xr-x - root super

android作業系統詳細目錄結構

\system\app 這個裡面主要存放的是常規下載的應用程式，可以看到都是以APK格式結尾的檔案。在這個資料夾下的程式為系統預設的元件，自己安裝的軟體將不會出現在這裡，而是\data\資料夾中。下面是詳細的介紹: \system\app\AlarmClock.apk 鬧

Storm在zookeeper上的目錄結構

storm操作zookeeper的主要函式都定義在名稱空間backtype.storm.cluster中（即cluster.clj檔案中）。 backtype.storm.cluster定義了兩個重要protocol：ClusterState和StormClusterState。clojure中的protoc

如何匯出百度網盤詳細目錄結構－超詳細的

百度網盤大家都在用，有時候希望把自己的檔案目錄結構給匯出來，能形成一個檔案樹的形式，無奈網上找了好多資料都無果，大多數說的是在瀏覽器裡控制檯下，那個方法已經不適用，而且只能匯出一級目錄，求人不如求己，無奈之下決定自己動手豐衣足食，下面小編手把手教你怎麼把百度雲網盤裡的檔案

Android原生第一課-瞭解目錄結構和其用處（史上最詳細）

學的東西，很久沒用就會忘記，所以寫個東西記錄一下。這是我之前用Android Studio 建的專案。目錄檔案作用 .gradle gradle專案產生資料夾（自動編譯工具產生的檔案） .idea IDEA專案資料夾（開發工具產生的檔案） app

Linux目錄結構詳細介紹(一)

linux 目錄結構頂點 / ，其它所有目錄都在根下根下面的目錄及目錄裏的子目錄是一個有層次的倒掛樹狀結構目錄描述/處於linux系統樹形結構的最頂端，它是linux文件系統的入口，所有的目錄、文件、設備都在/之下。/bin/bin是Binary的縮寫，存放著linux系統命令。/boot/包括內核

linux目錄結構詳細介紹

linux目錄1、樹狀目錄結構圖2、/目錄3、/etc/目錄4、/usr/目錄5、/var/目錄6、/proc/目錄7、/dev/目錄1、樹狀目錄結構圖2、/目錄目錄描述/第一層次結構的根、整個文件系統層次結構的根目錄。/bin/需要在單用戶模式可用的必要命令（可執行文件）；面向所有用戶，例如：cat、ls、

(轉)linux目錄結構詳細介紹

中產沒有默認耗時共享而是控制臺 toc inf linux目錄結構詳細介紹原文：http://blog.51cto.com/yangrong/1288072 目錄 1、樹狀目錄結構圖 2、/目錄 3、/etc/目錄 4、/usr/目錄 5、/var/目錄 6、

2.1 2.2 系統目錄結構（上）（下）

都是掛載 sbin 樹形 dia user 重要網卡指定 1.ls列取系統目錄文件ls list [root@laozhilinux-01:~] # ls /bin data docs home lib media opt

Apache配置站點詳細講解（apache目錄結構介紹）

apache目錄apache模塊：查看Apache有哪些參數：/application/apache2.2.34/bin/apachectl 查看Apache安裝了哪些模塊：/application/apache2.2.34/bin/apachectl -l跟蹤apache進程：strace /appli

Linux目錄結構及詳細介紹

all prot 資訊 gate 應用程序 run 配置文件需要 spool /：根目錄，位於Linux文件系統目錄結構的頂層，一般根目錄下只存放目錄，不要存放文件，/etc、/bin、/dev、/lib、/sbin應該和根目錄放置在一個分區中。 /bin，/usr/b

CentOS7目錄結構詳細版

原文地址：http://www.cnblogs.com/ellisonDon/archive/2012/10/03/2710730.html 原文地址：https://www.cnblogs.com/ellisonDon/archive/2012/10/03/2710727.html lin

python ftp 按目錄結構上傳下載

#!/usr/bin/python # coding=utf-8 from ftplib import FTP import time import os def __ftp_upload(ftp,local,remote,isDel=False): if os.

AndroidStudio2.2 Preview3中NDK開發之CMake和傳統 JNI在目錄結構和配置檔案上的區別

自從AndroidStudio更新到2.2，就有了CMake和傳統JNI兩種開發NDK的方法，主要就是在目錄結構和build.gradle上的區別，下面我們將分別介紹目錄區別和build.gradle種配置的區別（提示：在第一次用CMake時，最好在新建專案時勾選Include C++

Tomcat目錄結構詳解（非常詳細）

Tomcat7 的目錄結構如圖： · 1、bin：該目錄下存放的是二進位制可執行檔案，如果是安裝版，那麼這個目錄下會有兩個exe檔案：tomcat6.exe、tomcat6w.exe，前者是在控制檯下啟動Tomcat，後者是彈出UGI視窗啟動Tomcat；如果是解壓版，那

Tomcat的目錄結構詳細介紹

開啟tomcat的解壓之後的目錄可以看到如下的目錄結構： 1.bin： bin目錄主要是用來存放tomcat的命令，主要有兩大類，一類是以.sh結尾的（linux命令），另一類是以.bat結尾的（windows命令）。很多環境變數的設定都在此處，例如可以設定JDK

linux 目錄結構詳細介紹

目錄 1、樹狀目錄結構圖 2、/目錄 3、/etc/目錄 4、/usr/目錄 5、/var/目錄 6、/proc/目錄 7、/dev/目錄該文章主要來自於網路進行整理。目錄結構參考地址：下面紅色字型為比較重要的目錄 1、樹狀目錄結構 2、/目錄

Tomcat的目錄結構詳細介紹（超全）

開啟tomcat的解壓之後的目錄可以看到如下的目錄結構： 1.bin： bin目錄主要是用來存放tomcat的命令，主要有兩大類，一類是以.sh結尾的（linux命令），另一類是以.bat結尾的（windows命令）。很多環境變數的設定都在此處，

Android Studio工程目錄結構分析(上)

Android Studio工程目錄我們這裡以一個簡單的HelloWorld工程來分析： 1、.gradle和.idea 這兩個目錄下放置的都是Android Studio自

vue-cli 工程目錄結構介紹詳細介紹

打包開發環境 sass 源碼 tsp 相對提升資源文件 app vue-cli目錄結構： vue-cli目錄解析： build 文件夾：用於存放 webpack 相關配置和腳本。開發中僅偶爾使用到此文件夾下 webpack.base.conf.j

hbase在hdfs上的詳細目錄結構

相關推薦