1. 程式人生 > >shell中spark-sql語句除錯、執行方式

shell中spark-sql語句除錯、執行方式

1.命令方式執行sparksql查詢

SQL="use mydatatable;;select count(1) from tab_videousr_onlne where p_regiion=101 and p_date='2017-04-05' and p_hour=21;"

/home/mr/spark/bin/beeline -u jdbc:hive2://localhost:18000 -n mr -p mr --maxwidth=3000 -e "$SQL" >> /home/mr/query_result.txt

注:在執行語句後重定向(>>)生成檔案,可以收集查詢結果。

p.s. 也可以通過shell命令手動輸入sql語句:echo -n input the query SQL: ; read SQL;

2.指令碼方式執行sparksql查詢

su - mr -c "beeline -u jdbc:hive2://localhost:18000/mydatatable -n mr -f /home/1209sparktableupgrade/spark_add_table.sql"

原文連結:https://www.cnblogs.com/sayhihi/p/7402814.html