1. 程式人生 > >mysql資料匯入kafka

mysql資料匯入kafka

將Mysql遷移到Hbase主要有三種方法:

1、Put API

Put API可能是將資料快速匯入HBase表的最直接的方法。但是在匯入【大量資料】時不建議使用!但是可以作為簡單資料遷移的選擇,直接寫個程式碼批量處理,開發簡單、方便、可控強。

2、MapReduce Job

推薦使用sqoop,它的底層實現是mapreduce,資料並行匯入的,這樣無須自己開發程式碼,過濾條件通過query引數可以實現。

Sqoop是一款開源的工具,主要用於在Hadoop(Hive)與傳統的資料庫(mysql、postgresql...)間進行資料的傳遞,可以將MySQL中的資料導進到Hadoop的HDFS中,也可以將HDFS的資料導進到Mysql中。

採用如下命令:sqoop import

--connect jdbc:mysql://localhost/db

--username root -P

--table mysql_order

--columns "id,name"

--hbase-table hbase_order

--column-family f

--hbase-row-key id

--query "select id,name from mysql_order where..."

-m 1

3、採用Bulk load裝載資料

bulk-load的作用是用mapreduce的方式將hdfs上的檔案裝載到hbase中,對於海量資料裝載入hbase非常有用。

需要將MySQL的表資料匯出為TSV格式(因為後面使用Import TSV工具),還需要確保有一個欄位可以表示HBase錶行的row key。

各有優勢,推薦採用sqoop,可以省去比較多工作。

當然只要你高興,你可以採用其他方法,條條道路通羅馬。

相關推薦

mysql資料匯入kafka

將Mysql遷移到Hbase主要有三種方法:1、Put APIPut API可能是將資料快速匯入HBase表的最直接的方法。但是在匯入【大量資料】時不建議使用!但是可以作為簡單資料遷移的選擇,直接寫個程式碼批量處理,開發簡單、方便、可控強。2、MapReduce Job推薦使用sqoop,它的底層實現是map

MySQL資料匯入sql檔案過程中出錯

錯誤型別: ERROR 1231 (42000): Variable 'time_zone' can't be set to the value of 'NULL' ERROR 1231 (42000): Variable 'sql_mode' can't be set to the value of '

使用sqoop將mysql 資料匯入hdfs時各種報錯

資訊 18/06/29 10:45:08 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLExcepti

MySQL資料匯入匯出亂碼問題

場景 程式使用gbk編碼,表使用的是latin1編碼,而我再一次倒入資料的操作中使用了utf8的終端,指定--default-character-set='latin1'倒入的資料是亂碼,而後來將終端換成gbk之後酒倒入成功了 通過變換插入資料的終端,模擬我們平常需要倒入資料的終端

StreamSet mysql資料匯入到hive異常問題記錄

1. 異常問題Permission denied: user [anonymous] does not have [USE] privilege on [default] com.streamsets.pipeline.api.base.OnRecordErrorException: HIVE_

mysql資料匯入mongodb中

# 把mysql資料庫中的資料匯入mongodb中 import pymysql import pymongo # 建立mysql的資料庫連線 con = pymysql.connect(host='localhost', port=3306, user='root', password='12345

通過sqoop將mysql資料匯入到hive中進行計算示例

hive計算示例 先將資料通過sqoop從mysql匯入hive,在hive執行mysql的查詢語句,得到與mysql一樣的執行結果 步驟: mysql資料準備 account賬號表 detail收支資料表 CREATE TABLE

mysql資料匯入elasticseach

logstash配置檔案如下: input {   jdbc {     # mysql相關jdbc配置     jdbc_connection_string => "jdbc:mysql://localhost:3306/automall_data?useUnico

Python 實現MySQL資料匯入Excel

一、場景 場景如題,將mysql中的表資料匯入到excel 二、場景實現 1、建立mysql_util.py 將對mysql的操作寫在這個py檔案下 mysql_conf = { 'host': '主機host', 'user': '使用者名稱',

mongodb將mysql資料匯入

1、首先將資料從mysql資料庫匯出為xls檔案 SELECT * FROM user INTO OUTFILE "F:\1.xls" 2、notepad++開啟,用utf8編碼儲存資料   3、使用wps或者cvs開啟檔案,並以.cvs格式儲存資料   4、在w

Mysql 資料匯入 Hbase

目錄 一、前言 一、前言 在大資料專案中需要做資料遷移時,我們第一時間總會想到sqoop。sqoop是apache 旗下一款“Hadoop 和關係資料庫伺服器之間傳送資料”的工具,

在hadoop 裡安裝 sqoop 並把mysql資料匯入hdfs

hadoop 2.6.0 sqoop:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 然後把sqoop 解壓。這裡解壓發生的問題是, tar: /home/luis:歸檔中找不到 tar: 由於前次錯誤,將以上次的錯誤狀態退出 ta

mysql資料匯入匯出方法總結

MySQL資料備份還原方式總結: 一、將資料匯入到指定的資料庫 第一種匯入方式: (linux下和Windows 下語法是一樣的,只是路勁的書寫方式不同而已)  1、建立一個空資料庫  2、進入MySQL安裝目錄bin下  3、匯入命令 mysql  -uroot –p

MySQL資料匯入匯出命令

匯出表結構資料 使用mysqldump命令列下具體用法如下: mysqldump -u使用者名稱 -p密碼 -d 資料庫名 表名 > 指令碼名; 1、匯出資料庫為dbname的表結構(其中使用者名稱root,密碼為dbpasswd,生成的指令碼名為db.sql) mysq

MLGBD, mySQL=-=資料匯入不完整

http://www.4shared.com/photo/anX1jSC-ba/_20140304.html http://www.4shared.com/photo/pvGM67O6ba/_20140304.html http://www.4shared.com/phot

mysql資料匯入匯出語句

匯出:SELECT * from ebook INTO OUTFILE "bookdev.txt" FIELDS ENCLOSED by '"' TERMINATED by "," LINES TERMINATED BY " " 匯入:LOAD DATA INFILE "bo

sqoop mysql資料匯入Hive中

sqoop import --connect jdbc:mysql://192.168.8.97:3306/db1?charset-utf8  --username root --password 123456 --table pd_info --columns "pid,cid" --fields-term

shell執行mysql資料匯入匯出

CMD1="use nuomi_oc;SELECT u.id as user_id, u.login_name as login_name,u.email as email, u.name as

sqoop將Mysql資料匯入Hive中

注:筆者用的是sqoop1.4.6版本 一、將Mysql資料匯入Hive中 命令: sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true --con

Mysql資料匯入大SQL檔案問題

0.前言 最近工作中經常遇到mysql資料庫匯入大SQL檔案的問題,動輒幾個G的SQL檔案匯入,一些常見的資料庫管理工具根本操作不了,而且mysql自身的配置也有侷限,特此將整理後的匯入過程記