2. 程式人生 > >hive執行報錯解決

hive執行報錯解決

阿新 • • 發佈：2019-01-12 
Error during job, obtaining debugging information...
Examining task ID: task_1524216872104_86828_m_000001 (and more) from job job_1524216872104_86828
Examining task ID: task_1524216872104_86828_m_000001 (and more) from job job_1524216872104_86828

Task with the most failures(4):
-----
Task ID:
  task_1524216872104_86828_m_000001

URL:
  http://0.0.0.0:8088/taskdetails.jsp?jobid=job_1524216872104_86828&tipid=task_1524216872104_86828_m_000001
-----
Diagnostic Messages for this Task:
Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row {"month_id":"201805","user_id":"7117041328091672","cycle_id":"1672","maxfee":0,"owe_fee":16.66,"rn1":1}
    at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:179)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row {"month_id":"201805","user_id":"7117041328091672","cycle_id":"1672","maxfee":0,"owe_fee":16.66,"rn1":1}
    at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:507)
    at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:170)
    ... 8 more
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execute method public org.apache.hadoop.io.Text cn.com.dwsoft.hive.udf.MonthAdd.evaluate(org.apache.hadoop.io.Text,org.apache.hadoop.io.IntWritable)  on object 
 
[email protected] of class cn.com.dwsoft.hive.udf.MonthAdd with arguments {1672:org.apache.hadoop.io.Text, 1:org.apache.hadoop.io.IntWritable} of size 2
    at org.apache.hadoop.hive.ql.exec.FunctionRegistry.invoke(FunctionRegistry.java:970)
    at org.apache.hadoop.hive.ql.udf.generic.GenericUDFBridge.evaluate(GenericUDFBridge.java:182)
    at org.apache.hadoop.hive.ql.exec.ExprNodeGenericFuncEvaluator._evaluate(ExprNodeGenericFuncEvaluator.java:186)
    at org.apache.hadoop.hive.ql.exec.ExprNodeEvaluator.evaluate(ExprNodeEvaluator.java:77)
    at org.apache.hadoop.hive.ql.exec.ExprNodeEvaluator.evaluate(ExprNodeEvaluator.java:65)
    at org.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:77)
    at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815)
    at org.apache.hadoop.hive.ql.exec.TableScanOperator.processOp(TableScanOperator.java:95)
    at org.apache.hadoop.hive.ql.exec.MapOperator$MapOpCtx.forward(MapOperator.java:157)
    at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:497)
    ... 9 more
Caused by: java.lang.reflect.InvocationTargetException
    at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.hive.ql.exec.FunctionRegistry.invoke(FunctionRegistry.java:946)
    ... 18 more
Caused by: java.lang.NumberFormatException: For input string: ""
    at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
    at java.lang.Integer.parseInt(Integer.java:504)
    at java.lang.Integer.parseInt(Integer.java:527)
    at cn.com.dwsoft.hive.udf.MonthAdd.evaluate(MonthAdd.java:20)
    ... 22 more
執行hql遇見以上報錯，查詢了好多方法都不好用，後來經過測試，sql在另一張表上執行無報錯，所以初步確定該表中資料有問題，經過多次測試，發現剔除掉cycle_id為1672的資料（該資料為異常資料），sql可以正常執行。

相關推薦

hive執行報錯解決

Error during job, obtaining debugging information... Examining task ID: task_1524216872104_86828_m_000001 (and more) from job job_15242168

已經設置utf8的mysql cmd中插入中文執行報錯解決方法

客戶 res img 說明 設置 -1 bsp 插入 gbk 說明cmd客戶端的字符集是gbk，結果集也要設置為gbk。 使用語句 set character_set_client=gbk; set character_set_results=gbk; 就

TensorFlow-example執行報錯解決方法

IOError: [Errno socket error] [Errno 101] Network is unreachable 問題 反正把包提前下載好了下次就再也不用擔心了，mv資料包到/temp/data http://yann.lecun.com/exdb/mnist/

java程式在eclipse上執行報錯解決方法：Exception in thread "main" java.lang.NoClassDefFoundError:

最近在Linux上的eclipse中執行java程式出現了這樣的錯誤，弄了很久用了以下三種方法終後終於成功運行了，分享下，希望能幫助到大家。 Linux執行java程式提示錯誤： Exception in thread "main" java.lang.NoClassDefFoundEr

hive執行報錯

執行hive時報錯，即使最簡單的show databases也報錯： hive> show databases; FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveExcept

pythonmysql執行報錯解決過程中遇到的其中一個報錯解決文章來源

本文章僅記錄下面報錯的解決文章來源： error: command 'C:\Users\Administrator\AppData\Local\Programs\Common\Micr osoft\Visual C++ f

OpenCV SITF 特徵提取 FeatureDetector物件函式detect執行報錯解決方案

本人在使用OpenCV SIFT特徵提取演算法時，遇到了問題，具體表現為 .exe觸發了一個斷點錯誤，經網上查詢，發現是 vector 在析構時，造成了記憶體錯誤，解決方案由大神在csdn部落格中給出，連結地址： 按照大神所提示的 ，在使用opencv 函式之前，先對 v

QMUI android 框架 git下載專案執行報錯解決

1、編譯原始碼，報  Error:(4 0) CreateProcess error=2 系統找不到指定的檔案  錯誤。或者 input String“” 解決辦法： 開啟qmuidemo裡面的gradle檔案，註釋掉頂部的 //def cmd = 'git rev-lis

hive執行報錯：Both left and right aliases encountered in JOIN 's1'

原因：兩個表join的時候，不支援兩個表的欄位 非相等 操作。 可以把不相等條件拿到 where語句中。 例如： right JOIN test.dim_month_date p2

python——執行帶有%的sql執行報錯解決方法

from sqlalchemy import create_engine, text 今天在使用pandas的pd.read_sql_query(sql,engine)方法讀取pg庫欄位時報錯，'

Vue 執行報錯解決

報錯型別：> [email protected] dev F:\music\music> node build/dev-server.js> Starting dev server...ERROR Failed to compile with 2

執行hive，報錯，解決經歷

今天執行hive，因為hadoop原來為分散式，然後改成偽分散式後，執行hive報錯 初步判斷是由於HA節點中處於standby狀態造成的異常 Operation category READ is not supported in state standby 關閉後stop-all.sh

安裝atlas後執行hive命令報錯

repeat log color bug mage client img sof atl 在集群中安裝atlas，在安裝atlas的節點上執行hive -e "show databases;" 正常，但是在集群中其他節點上執行hive -e "show database

通過ssh遠程執行命令導入定時任務報錯----解決過程

linux ssh su 今天在服務器中通過ssh遠程執行批量導入定時任務時發生了一個問題：總結如下，遠程服務器已設置好ssh秘鑰登錄，登錄用戶為普通用戶，但已設置好擁有免密sudo權限ssh 1.1.1.1 "sudo su -c "echo ‘30 5 * * 5 /bin/sh /root/

sql無效字符 執行sql語句報錯解決方案

tar nbsp color col copy 坑爹 執行 解決方案 原來 以為是sql中參數賦值有問題，但是將sql語句直接copy到PLSQL中執行，卻沒問題，糾結了好久，原來是 insert語句多了；唉，坑爹 http://www.jb51.net/article/3

Qt編譯目錄下exe文件執行報錯問題的解決辦法

出現 window 編輯 狀態 發現 目錄 inf 編譯器 項目 使用Qt5.9.3+vs2017環境，編譯項目生成Debug目錄，運行其中的exe文件，出現以下錯誤（qt creator調試狀態下或出安裝包後是可以運行的）： 經過查閱資料，發現是我重新配置Qt開發環境後

Failed to execute 'toDataURL' on 'HTMLCanvasElement,在canvas.toDataURL()執行時候報錯解決方案

from info long allow 條件 star The cross can 添加跨域條件 crossorigin="anonymous" 【Redirect at origin ‘http://xxx.xx.com‘ has been block

（已解決）拷貝dll檔案到另一個專案，編譯不報錯，執行報錯“未能載入檔案或程式集...”

未能載入檔案或程式集“JUtility, Version=1.0.0.0, Culture=neutral, PublicKeyToken=null”或它的某一個依賴項。試圖載入格式不正確的程式。   需要注意該dll生成的目標平臺：右擊專案-生成-目標平臺, 引用這個dll的專案

解決升級到Xcode10，react native專案執行報錯問題

今天剛升級到Xcode10，就遇到兩個報錯問題 錯誤一：Xcode 10: Build input file double-conversion cannot be found error: Build input file cannot be found: '../node_modules/react-

解決 Maven工程執行報錯Failed to clean project: Failed to delete

　　在執行maven工程總是報“Failed to clean project: Failed to delete”錯誤，原因是因為之前編譯的工程還在執行，無法clean，導致maven生命週期無法繼續進行。 　　看到網上很多誤人子弟的方法，什麼關閉java程序，還有說等待一段時間讓他自動好的。這個問題的解