1. 程式人生 > >hive某個欄位中包括\n(和換行符衝突)

hive某個欄位中包括\n(和換行符衝突)

用spark執行SQL儲存到Hive中:

 hiveContext.sql("insert overwrite table test select * from aaa")

執行完成,沒報錯,但是核對結果的時候,發現有幾筆資料超出指定範圍(實際只包含100/200)
在這裡插入圖片描述
最終排查到是ret_pay_remark 欄位包含換行符,解決方案:執行SQL中把特殊字元替換掉

regexp_replace(ret.pay_remark, '\n|\t|\r', '')              ret_pay_remark