1. 程式人生 > >HIVE學習筆記----資料儲存

HIVE學習筆記----資料儲存

  -基於HDFS

  -沒有專門的資料儲存格式

  -儲存結構主要包括:資料庫、檔案、表、檢視

  -可以直接載入文字檔案(txt  csv等)

  -建立表時,指定Hive資料的列分隔符與行分隔符

表: 內部表 /分割槽表 /外部表 /桶表

  -內部表:與資料庫中的Tale在概念上類似;

                 每一個Table在hive中都有一個相應的目錄儲存資料;

                 所有的Table資料不包括外部表都儲存在這個目錄中;

                 刪除表時, 元資料與資料都會被刪除;

create table table_name ( ,  , ,) location  '/mytable/hive/t2';  ----指定表文件儲存目錄

create table table_name ( ,  , ,) row format delimited fields terminated by ',';  ----指定列與列之間的分隔符

   -分割槽表:partition對應於資料庫的partition列的密集索引

                   一個分割槽對應於表中的一個目錄

                   所有的分割槽資料都儲存在對應的目錄中

   -外部表:指向已經在HDFS中存在的資料,可以建立分割槽

                   只有一個過程,載入資料和建立表同時完成,並不會移動到資料倉庫目錄中,只是與外部資料建議一個連結,當刪除外部表時,僅刪除該連結

 -桶表:對資料進行雜湊取值