1. 程式人生 > >hive匯出查詢檔案到本地檔案的2種辦法

hive匯出查詢檔案到本地檔案的2種辦法

通過HQL語句

可以將hive  中表的資料生成到指定的目錄。

有時候 我們可以利用hive來生成統計的中間檔案(比原始檔小的多的)

方法有如下2種:

1.INSERT OVERWRITE LOCAL DIRECTORY

將結果輸出到指定的目錄:

生成的檔案數 和redurcer的數目的一樣的

在hive下面執行

INSERT OVERWRITE LOCAL DIRECTORY '/hive_dat/package_name'
select package_name,count(1) from app_list group by package_name;

2.直接查詢生成結果檔案:

在linux下面執行:(也支援後臺執行 如果執行時間比較長的話)

hive -S -e"select package_name,count(1) from app_list group by package_name;"> grp_app_id.dat
這個只生成一個檔案 並且輸出的檔案裡面的列 是以空格隔開的。