shell中spark-sql語句除錯、執行方式
1.命令方式執行sparksql查詢
SQL="use mydatatable;;select count(1) from tab_videousr_onlne where p_regiion=101 and p_date='2017-04-05' and p_hour=21;"
/home/mr/spark/bin/beeline -u jdbc:hive2://localhost:18000 -n mr -p mr --maxwidth=3000 -e "$SQL" >> /home/mr/query_result.txt
注:在執行語句後重定向(>>)生成檔案,可以收集查詢結果。
p.s. 也可以通過shell命令手動輸入sql語句:echo -n input the query SQL: ; read SQL;
2.指令碼方式執行sparksql查詢
su - mr -c "beeline -u jdbc:hive2://localhost:18000/mydatatable -n mr -f /home/1209sparktableupgrade/spark_add_table.sql"
相關推薦
shell中spark-sql語句除錯、執行方式
1.命令方式執行sparksql查詢 SQL="use mydatatable;;select count(1) from tab_videousr_onlne where p_regiion=101 and p_date='2017-04-05' and p_hour=21;" /home
Shell中的迴圈語句for、while、until
在程式語言中,迴圈語句是最基本的語法之一,在Shell(這裡是Bash)中也不例外。 這裡包括for/while/until迴圈,以及變數自增的語法例項。 Shell(以Bash為例)中的迴圈語句一般有for、while、until這幾種。 一、for迴圈語句例項1.1 最
在Yarn上執行spark-shell和spark-sql命令列
spark-shell On Yarn 如果你已經有一個正常執行的Hadoop Yarn環境,那麼只需要下載相應版本的Spark,解壓之後做為Spark客戶端即可。 需要配置Yarn的配置檔案目錄,export HADOOP_CONF_DIR=/etc/hadoop/conf &n
"SQLServer工具中為什麼空格變點號"、"Oracle SQL按空格也變點號"、結果格式變換、SQL語句(重複、替換、擷取、去空格、去小數點後的位數)
我暑假時用觸屏板點選SQLServer,不知道怎麼個亂點亂按快捷鍵。。。就將空格用小點"·"代替了 (當然,我找過度娘,可都沒有對應的答案,只有說"Oracle按空格變點號”的問題答案,下面會給連結! 因此,看來,目前只有我遇到了???也許遇到了的人沒記錄在百度或其他網站,那
如何在Eclipse中書寫SQL語句並執行
Eclipse算是java開發者最熟悉的一種開發工具了,今天給大家簡單的介紹一下如何在Eclipse中書寫sql語名,當然它還是沒有專門的sql工具好用,個人用的也不是很多。首先建立一個SQL檔案Name:連線名稱如果遇到這種情況,無法點選ok,不要急,點選JAR List。
Mysql中使用sql語句查詢前一個天、前一週、前一月時間的方法
查詢一天:select * from 表名 where to_days(時間欄位名) = to_days(now());昨天SELECT * FROM 表名 WHERE TO_DAYS( NOW( ) ) - TO_DAYS( 時間欄位名) <= 17天SELECT *
ORACLE中通過SQL語句(alter table)來增加、刪除、修改欄位
新增欄位的語法:alter table tablename add (column datatype [default value][null/not null],….); 修改欄位的語法:alter table tablename modify (column datatype [default va
Mybatis在編譯器中列印sql語句及執行後的結果
在mybatisconfig.xml中加入下列語句,mybatis會列印sql語句及執行後的結果 <!-- 列印查詢語句 --> <settings> <setting name="logImpl" value="STDOUT_L
mysql中的SQL語句執行的順序
sql語句 light highlight bsp dep 原因 limit group by ren 1. from2. on3. join4. where5. group by6. with7. having8. select9. distinct10. order b
shell 中的if語句
bsp != -o 語句 col spa shell clas if語句 if [ t != "." -a t != ".." ] 之前一直不知道 -a 是什麽意思,後來才知道 -a = and ; -o = orshell 中的if語句
shell中if判斷語句
file true pan rep then 好的 test 遇到 col if 條件測試類型: 文件測試, 數字測試, 字符串測試 if 語句結構: if ... ; then ....; fi if ... ; then ... ; else ... ; fi
在SqlServer中通過SQL語句實現樹狀查詢
clas all bold join where procedure ner log class 1 CREATE PROCEDURE [dbo].[GetTree] 2 @Id int 3 AS 4 BEGIN 5 with cte as
Java - 若try中有return語句,finally會執行嗎?在return之前還是之後呢?
內存空間 rgs -- 取消 turn all urn stat fin 會執行,在方法return動作之前,return語句執行之後,若finally中再有return語句,則此方法以finally的return作為最終返回,若finally中無return語句,則此方法
使用T-SQL語句插入、更新、刪除數據表
數據庫 sql server sql語言 楊書凡 t-sql語句 在對數據進行管理時,使用SSMS進行數據維護有可視化、方便的優點,但是在批量維護或重復維護時,使用SSMS就不方便了,還容易出錯,這就需要編寫SQL語句對數據庫進行維護SQL和T-SQL SQL是Structu
python中的 sql語句用法
mod location drop rop class turn price pytho 初始 函數中應用sql語句def _get_cust_number(self,cr,uid,ids,field_name,args,context=None): res={
shell中各種括號的作用()、(())、[]、[[]]、{}
雙中括號 語言 八進制 引用數組 存在 作用 版本 amp res 一、小括號,圓括號()1、單小括號 () ①命令組。括號中的命令將會新開一個子shell順序執行,所以括號中的變量不能夠被腳本余下的部分使用。括號中多個命令之間用分號隔開,最後一個命令可以沒有分號,各命
在C#中使用SQL語句什麽情況需要使用‘單引號’和“雙引號”
sql 一行 情況 values log 雙引號 table 引號 insert 例如 string sql = " insert into [Demo].[dbo].[textable] (姓名,身份證號)values (‘" + name.Text.ToString(
MyBatis中動態SQL語句完成多條件查詢
null nbsp mybatis myba 查詢 from ref HR OS http://blog.csdn.net/yanggaosheng/article/details/46685565 MyBatis中動態SQL語句完成多條件查詢 <select i
MySQL數據庫:SQL語句基礎、庫操作、表操作、數據類型、約束條件、表之間的關系
顯示 sel 不為 完整性 查看 步長 utf condition 情況下 數據庫相關概念: 1. 數據庫服務器:運行數據庫管理軟件的計算機 2. 數據庫管理軟件:MySQL、Oracle、db2、slqserver 3. 庫:文件夾,用來組織文件/表 4. 表:文件(類似
mysql中利用sql語句修改字段名稱,字段長度等操作
HA change 是我 重構 不為 ble 技術 網站重構 add 在網站重構中,通常會進行數據結構的修改,所以添加,刪除,增加mysql表的字段是難免的,有時為了方便,還會增加修改表或字段的註釋,把同字段屬性調整到一塊兒。這些操作可以在phpmyadmin或者別的mys