hive 元數據庫表描述
阿新 • • 發佈:2018-04-13
lob tps log part keys param 賦權 tails 之前
元數據庫表描述
這一節描述hive元數據庫中比較重要的一些表的作用,隨著後續對hive的使用逐漸補充更多的內容。
mysql元數據庫hive中的表:
表名 | 作用 |
---|---|
BUCKETING_COLS | 存儲bucket字段信息,通過SD_ID與其他表關聯 |
CDS | 一個字段CD_ID,與SDS表關聯 |
COLUMNS_V2 | 存儲字段信息,通過CD_ID與其他表關聯 |
DATABASE_PARAMS | 空 |
DBS | 存儲hive的database信息 |
DELETEME1410257703262 | 空 |
FUNCS | 空 |
FUNC_RU | 空 |
GLOBAL_PRIVS | 全局變量,與表無關 |
IDXS | 空 |
INDEX_PARAMS | 空 |
PARTITIONS | 分區記錄,SD_ID, TBL_ID關聯 |
PARTITION_KEYS | 存儲分區字段,TBL_ID關聯 |
PARTITION_KEY_VALS | 分區的值,通過PART_ID關聯。與PARTITION_KEYS共用同一個字段INTEGER_IDX來標示不同的分區字段。 |
PARTITION_PARAMS | 存儲某分區相關信息,包括文件數,文件大小,記錄條數等。通過PART_ID關聯 |
PART_COL_PRIVS | 空 |
PART_COL_STATS | 空 |
PART_PRIVS | 空 |
ROLES | 角色表,和GLOBAL_PRIVS配合,與表無關 |
SDS | 存儲輸入輸出format等信息,包括表的format和分區的format。關聯字段CD_ID,SERDE_ID |
SD_PARAMS | 空 |
SEQUENCE_TABLE | 存儲sqeuence相關信息,與表無關 |
SERDES | 存儲序列化反序列化使用的類 |
SERDE_PARAMS | 序列化反序列化相關信息,通過SERDE_ID關聯 |
SKEWED_COL_NAMES | 空 |
SKEWED_COL_VALUE_LOC_MAP | 空 |
SKEWED_STRING_LIST | 空 |
SKEWED_STRING_LIST_VALUES | 空 |
SKEWED_VALUES | 空 |
SORT_COLS | 排序字段,通過SD_ID關聯 |
TABLE_PARAMS | 表相關信息,是否外部表,通過TBL_ID關聯 |
TAB_COL_STATS | 空 |
TBLS | 存儲表信息,關聯字段DB_ID,SD_ID, |
TBL_COL_PRIVS | 空 |
TBL_PRIVS | 表賦權限相關信息,通過TBL_ID關聯 |
VERSION | 版本 |
VERSION_copy | 版本,通過VER_ID關聯 |
這裏補充介紹hive的一個工具腳本metatool。如果需要大量修改元數據庫中的相關記錄,可以具體查看metatool腳本的使用方法。
比如說,對一個HDFS做HA的時候,如果之前hdfs完整路徑是hdfs://m000,做完HA之後把dfs.nameservices
設置為my-cluster
之後,hdfs的訪問路徑就變成了hdfs://my-cluster,此時就需要對hive元數據庫中所有記錄作更新,這時可以參考下面的操作,
使用metatool腳本,先是新路徑,然後是舊路徑 /usr/local/bigdata/hive/bin/metatool -updateLocation hdfs://my-cluster hdfs://m000
hive 元數據庫表描述