5.1 向管理表中裝載資料

LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'
OVERWRITE INTO TABLE employees
PARTITION (country = 'US', state = 'CA');

在上述例子中,如果分割槽目錄不存在的話,會先建立分割槽目錄。然後再將資料拷貝到該目錄下.

如果目標表是非分割槽表，省略掉PARTITION子句.

通常情況下指定的路徑應該是一個目錄，而不是獨立的檔案。

使用LOCAL關鍵字表示資料從本地檔案系統路徑拷貝資料。省略掉LOCAL表示從分散式檔案系統中拷貝。

LOAD DATA LOCAL

LOAD DATA 移動資料到目標位置

指定全路徑具有良好的可讀性。同樣支援相對路徑。在本地模式執行時,相對路徑是指當前Hive CLI啟動時使用者的工作目錄。對於分散式或者偽分散式，該路徑相對於分散式檔案系統中使用者的根目錄。

若指定了OVERWRITE，目標檔案中存在的資料將會被刪除。否則僅僅將把新增的檔案增加到目標資料夾中而不會刪除之前的資料。

如果目標表是分割槽表，需要使用PARTITION,且必須為每個分割槽的鍵指定一個值

5.2 通過查詢語句向表中插入資料

關鍵字INSERT允許通過查詢語句向目標表中插入資料.

INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'OR')
SELECT * FROM staged_employees se
WHERE se.cnty = 'US' AND se.st = 'OR';
 

不使用OVERWRITE或者使用INTO替換OVERWRITE的話，Hive將會以追加的方式寫入資料而不會覆蓋之前的內容。

動態分割槽插入

INSERT OVERWRITE TABLE employees
PARTITION (country, state)
SELECT ..., se.cnty, se.st
FROM staged_employees se;

混合使用動態和靜態分割槽

INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state)
SELECT ..., se.cnty, se.st
FROM staged_employees se
WHERE se.cnty = 'US';
 

靜態分割槽鍵必須出現在動態分割槽鍵之前。動態分割槽預設沒有開啟。預設以"嚴格"模式執行。該模式下要求至少有一列分割槽欄位是靜態的。

動態分割槽屬性

hive.exec.dynamic.partition 預設false，設定成true表示開啟動態分割槽功能

hive.exec.dynamic.partition.mode 預設strict 設定成nonstrict表示允許所有分割槽都是動態的

hive.exec.max.dynamic.partitions.pernode 預設100 每個mapper或reducer可建立的最大動態分割槽個數

hive.exec.max.dynamic.partitions 預設1000 一個動態分割槽建立語句可建立的最大動態分割槽個數

hive.exec.max.created.files 預設100000 全域性可以建立的最大檔案個數

hive> set hive.exec.dynamic.partition=true;
hive> set hive.exec.dynamic.partition.mode=nonstrict;
hive> set hive.exec.max.dynamic.partitions.pernode=1000;

5.3 單個查詢語句中建立表並載入資料

CREATE TABLE ca_employees
AS SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';

5.4 匯出資料

INSERT OVERWRITE LOCAL DIRECTORY '/tmp/ca_employees'
SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';