shell命令執行hive指令碼(hive互動,hive的shell程式設計)
阿新 • • 發佈:2018-12-22
Hive執行方式
Hive的hql命令執行方式有三種:
1、CLI 方式直接執行
2、作為字串通過shell呼叫hive –e執行(-S開啟靜默,去掉”OK”,”Time taken”)
3、作為獨立檔案,通過shell呼叫 hive –f或hive –i執行執行
方式1
鍵入“hive”,啟動hive的cli互動模式。Set可以檢視所有環境設定引數,並可以重設。其他命令如, Use database 選擇庫 quit/exit 退出Hive的互動模式 set –v 顯示Hive中的所有變數 set <key>=<value> 設定引數 執行本地shell :!<cmd> 互動模式下可執行shell命令,例如(檢視linux根目錄下檔案列表:"!ls -l /;") 操作雲命令:dfs < command> 互動模式下直接操作hadoop命令如 dfs fs –ls Hql語句 執行查詢並輸出到標準輸出 add [FILE|JAR|ARCHIVE] <value> [<value>]* 增加一個檔案到資源列表 list FILE 列出所有已經新增的資源
方式二
Hql作為字串在shell指令碼中執行,如
hive -e "use ${database};select * from tb"
查詢結果可以直接匯出到本地本件(預設分隔符為\t):
hive -e "select * from tb" > tb.txt
如果需要檢視執行步驟,則在命令前面新增
set –x
另外,在shell指令碼中,字串有兩種定義方式:
1) 直接定義字串物件:sql=”字串” 2) 通過命令定義:sql=$(cat <<endtag 字串endtag)方式可以將字串複製給sql,執行hql命令的shell指令碼如下:
####### execute hive ######
sql=$(cat <<!EOF
USE pmp;
set mapred.queue.names=queue3;
drop table if exists people_targeted_delivery;
create table people_targeted_delivery
( special_tag_id int,
cnt bigint
);
INSERT OVERWRITE LOCAL DIRECTORY '$cur_path/people_targeted_delivery'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
select special_tag_id,count(1)
from t_pmp_special_user_tags
group by special_tag_id;
!EOF)
############ execute begin ###########
echo $sql
$HIVE_HOME/bin/hive -e "$sql"
exitCode=$?
if [ $exitCode -ne 0 ];then
echo "[ERROR] hive execute failed!"
exit $exitCode
fi
方式三
將hql語句儲存為獨立檔案,字尾名不限制,可以用.q或者.hql作為標識:
A,這個檔案在cli模式下,用source命令執行,如:source ./mytest.hql
B,在shell中執行命令,如:hive -f mytest.sql
Hive指定預執行檔案命令“hive –i”(或叫初始化檔案)
命令:hive -i hive-script.sql
在hive啟動cli之前,先執行指定檔案(hive-script.sql)中的命令。
也就是說,允許使用者在cli啟動時預先執行一個指定檔案,比如,有一些常用的環境引數設定,頻繁執行的命令,可以新增在初始化檔案中,比如,
某些引數設定
set mapred.queue.names=queue3;
SET mapred.reduce.tasks=14;
新增udf檔案
add JAR ./playdata-hive-udf.jar;
設定Hive的日誌級別
hive -hiveconf hive.root.logger=INFO;