2. 程式人生 > >mapreduce從hbase大量讀資料超時異…

mapreduce從hbase大量讀資料超時異…

阿新 • • 發佈：2019-01-24
16/05/06 19:56:13 INFO mapreduce.Job: Task Id : attempt_1461653563167_0008_m_000001_2, Status : FAILED
Error: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:
Fri May 06 19:55:05 CST 2016, null, java.net.SocketTimeoutException: callTimeout=60000, callDuration=60302: row '' on table 'solway_data_pv' at region=solway_data_pv,\x00\x12\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00,1462414827453.d8f26eae36431b4aa0a1c834dc8fd9d8., hostname=solway-online10,60020,1462432265703, seqNum=2753

        at org.apache.hadoop.hbase.client.RpcRetryingCallerWithReadReplicas.throwEnrichedException(RpcRetryingCallerWithReadReplicas.
        at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas.call(ScannerCallableWithReplicas.
        at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas.call(ScannerCallableWithReplicas.
        at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.
        at org.apache.hadoop.hbase.client.ClientScanner.call(ClientScanner.
        at org.apache.hadoop.hbase.client.ClientScanner.next(ClientScanner.
        at org.apache.hadoop.hbase.mapreduce.TableRecordReaderImpl.nextKeyValue(TableRecordReaderImpl.
        at org.apache.hadoop.hbase.mapreduce.TableRecordReader.nextKeyValue(TableRecordReader.
        at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase$1.nextKeyValue(TableInputFormatBase.
        at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.
        at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.
        at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.
        at org.apache.hadoop.mapreduce.Mapper.run(Mapper.
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.
        at org.apache.hadoop.mapred.MapTask.run(MapTask.
        at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.
        at 
        at 
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.
        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.
Caused by: java.net.SocketTimeoutException: callTimeout=60000, callDuration=60302: row '' on table 'solway_data_pv' at region=solway_data_pv,\x00\x12\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00,1462414827453.d8f26eae36431b4aa0a1c834dc8fd9d8., hostname=solway-online10,60020,1462432265703, seqNum=2753
        at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.
      

相關推薦

mapreduce從hbase大量讀資料超時異…

16/05/06 19:56:13 INFO mapreduce.Job: Task Id : attempt_1461653563167_0008_m_000001_2, Status : FAILED Error: org.apache.hadoop.hbase.client.RetriesExhau

java的api從hbase中讀資料

package hbase.com.cn.hbase; import java.io.IOException; import java.util.ArrayList; import java.util.Iterator; import java.util.Lis

HBase建表高階屬性，hbase應用案例看行鍵設計，HBase和mapreduce結合，從Hbase中讀取資料、分析，寫入hdfs，從hdfs中讀取資料寫入Hbase，協處理器和二級索引

1. Hbase高階應用 1.1建表高階屬性 下面幾個shell 命令在hbase操作中可以起到很到的作用，且主要體現在建表的過程中，看下面幾個create 屬性 1、 BLOOMFILTER 預設是NONE 是否使用布隆過慮及使用何種方式 布隆

MapReduce功能實現四---小綜合(從hbase中讀取資料統計並在hdfs中降序輸出Top 3)

MapReduce功能實現系列： 方法一： 在Hbase中建立相應的表1： create 'hello','cf' put 'hello','1','cf:hui','hello world' put 'hello','2','cf:hui','h

實現銀行家演算法和先進先出演算法_從檔案裡讀資料

作業系統考試老師出了兩道題，一個是先進先出，另一個是銀行家演算法，題目如下 1．請使用FCFS演算法模擬程序排程。假設系統有n (n>=2) 個程序，給定程序的到達時間以及需要執行的時間長短，給出相應的執行順序。資料以檔案方式給出,檔名為data.fcfs,格式為: 檔案共n(N1…Nn)

spark從hbase讀取寫入資料

將RDD寫入hbase 注意點： 依賴： 將lib目錄下的hadoop開頭jar包、hbase開頭jar包新增至classpath 此外還有lib目錄下的：zookeeper-3.4.6.jar、metrics-core-2.2.0.jar（缺少會提示hbase Rpc

已解決問題:從Excel中讀資料到資料庫，本地VS執行都成功，網站釋出後不能讀取資料

問題如標題:先上程式碼 String path = Server.MapPath("~/UploadExcel/"); string FileName = path + DateTime.Now.ToString("yyyyMMddHHmmss") + fuload.

使用JAVA API和MapReduce讀取HBase裡的資料(可用作HBase資料清洗)

一.使用JAVA API的方式 private static Table table = null; // 宣告靜態配置 static Configuration conf = null; static { conf = HBaseConfigu

十三週OJ2從檔案中讀資料

問題的及程式碼 /* 煙臺大學計算機與控制工程學院 檔名稱：從檔案中讀資料 作 者：展一 完成時間：2016年11月28日 題目描述 　文字檔案score.dic 中儲存了n名學生的資訊（班級編號,姓名,成績），每個學生資訊佔一行，每行的資料之間使用製表符分割，如下所

Java 從Excel中讀資料

今天工作時遇到一個需求，將Excel表格中的資料匯入到資料庫中，下面我們來看怎麼實現。 我們要用POI這個技術來實現這項功能，我們需要做的準備是下載以下jar包： 接下來我們來看怎麼將Excel中的資料傳到一個集合中 注意：這裡展示的Excel格式是xlsx也就是E

從csv中讀資料，並寫到csv中

import pymysql import numpy as np import csv def connectViogidata(ebayno): db = pymysql.connect(host='', user='s', passwd='2', db='vi

storm從kafka中讀資料

========================================== 定義從kafka中讀出的資料 import java.io.UnsupportedEncodingException; import java.util.List; import bac

Phoenix通過MapReduce對HBase批量匯入資料

在用該方法之前，請確保hadoop、hbase、phoenix已經啟動。 在phoenix的安裝目錄下使用以下程式碼，啟動MR HADOOP_CLASSPATH=/opt/hbase-0.98.

使用MapReduce結合HBase Filter過濾資料

需求：讀取hbase資料，根據某一些條件，過濾掉不符合情況的行，實現資料在伺服器端的過濾。 解決方法：通過翻閱《HBase權威指南》發現，實現這個需求有以下幾種方法 ①  使用行過濾器（RowFilter），基於行健來過濾資料。通過比較返回比符合條件的行健。 ②  單列值過濾器（SingleColumnVa

[zynq7 問題記錄] ps 從axi匯流排讀資料卡住了一般是什麼原因導致的

1，沒有燒寫邏輯。 2，讀了一個VIVADO沒有分配的地址。 3，AXI外設介面編寫有問題，沒有回覆各種READY 。 4，如果是SDK線上執行，上述三個方面確保了，就按照下面步驟進行， 從新給板子上電，燒寫BIT，啟動PS。 5，如果是SD卡或者QSPI FLASH

從hbase表1中讀取資料，最終結果寫入到hbase表2 ，如何通過MapReduce實現 ？

需要一： 將hbase中‘student’表中的info：name和info：age兩列資料取出並寫入到hbase中‘user’表中的basic：XM和basic：NL class ReadStudentMapper extends Table

向HBase中匯入資料3：使用MapReduce從HDFS或本地檔案中讀取資料並寫入HBase（增加使用Reduce批量插入）

前面我們介紹了：為了提高插入效率，我們在前面只使用map的基礎上增加使用reduce，思想是使用map-reduce操作，將rowkey相同的項規約到同一個reduce中，再在reduce中構建put物件實現批量插入測試資料如下:注意到有兩條記錄是相似的。package cn

從mysql向HBase+Phoenix遷移資料的心得總結

* 轉載請註明出處 公司有一張大表,資料量超過3億.Leader找我讓我完成這個資料遷移的工作. mysql -> HBase + Phoenix 1.總體方案有哪些？ 　　1）通過Sqoop直接從伺服器(JDBC方式)抽取資料到HBase中 　　因為資料量非常大，因此優先考慮用Sqoop和M

Pig指令碼從Hive中load資料並存入到Hbase中

1、我們先建一個Hive表test01: create table test01(name String, age int, phone String,province String, city String) ROW FORMAT DELIMITED FIELDS TERMINATED B

把kafka資料從hbase遷移到hdfs，並按天載入到hive表(hbase與hadoop為不同叢集)

需求：由於我們用的阿里雲Hbase，按儲存收費，現在需要把kafka的資料直接同步到自己搭建的hadoop叢集上，(kafka和hadoop叢集在同一個區域網)，然後對接到hive表中去，表按每天做分割槽 一、首先檢視kafka最小偏移量（offset） /usr/local/kafka/bin/k