1. 程式人生 > >HBase Shell 操作命令&&使用Sqoop將資料匯入HBase

HBase Shell 操作命令&&使用Sqoop將資料匯入HBase

一、HBase Shell 操作命令實驗

要求:

HBase叢集正常啟動,且可以執行正常

進入客戶端

[[email protected] ~]$ cd /home/zkpk/hbase-0.98.7-hadoop2

[[email protected] hbase-0.98.7-hadoop2]$ bin/hbase shell

檢視列表

hbase(main):001:0> list

建立表test

hbase(main):002:0> create 'test', {NAME => 'f1', VERSIONS => 5}

再次檢視列表對比

hbase(main):003:0> list

插入資料

hbase(main):001:0> put 'test', 'aid001', 'f1:uid', '001'

掃描查詢資料

hbase(main):001:0> scan 'test'

單條查詢資料

hbase(main):002:0> get 'test','aid001'

查看錶結構

hbase(main):003:0> describe 'test'

修改表

hbase(main):004:0> disable 'test'

hbase(main):004:0> alter 'test', NAME => 'f1', VERSIONS => 3

hbase(main):004:0> enable 'test'

再次查看錶結構對比

[[email protected] ~]$ cd /home/zkpk/hbase-0.98.7-hadoop2

hbase(main):004:0> describe 'test'

清空表

hbase(main):004:0> truncate 'test'

掃描表

hbase(main):004:0> scan 'test'

刪除表

hbase(main):004:0> disable 'test'

hbase(main):004:0> drop 'test'

hbase(main):004:0> list

建立新表uid_cnt

hbase(main):004:0> create 'uid_cnt', {NAME => 'f1', VERSIONS => 5}

二、使用Sqoop將資料匯入HBase

要求:

MySQL服務啟動且執行正常

HBase叢集啟動且執行正常

進入sqoop安裝主目錄

 [[email protected] ~]$ cd /home/zkpk/sqoop-1.4.5.bin__hadoop-2.0.4-alpha

執行匯入命令:

 [[email protected] sqoop-1.4.5.bin__hadoop-2.0.4-alpha]$ bin/sqoop import --connect jdbc:mysql://192.168.190.147:3306/test --username hadoop --password hadoop --table uid_cnt --hbase-table uid_cnt --column-family f1 --hbase-row-key uid --hbase-create-table -m 1

其中紅色主機ip需要改為本機的ip地址

欄位解釋:

bin/sqoop import --connect jdbc:mysql://192.168.190.147:3306/test --username hadoop --password hadoop --table uid_cnt 

--hbase-table uid_cnt  HBase中表名稱

--column-family f1  列簇名稱

--hbase-row-key uid  HBase行鍵

--hbase-create-table  是否在不存在情況下建立表

-m 1 啟動Map數量

相關推薦

HBase Shell 操作命令&&使用Sqoop資料匯入HBase

一、HBase Shell 操作命令實驗 要求: HBase叢集正常啟動,且可以執行正常 進入客戶端 [[email protected] ~]$ cd /home/zkpk/hbase-0

Shell_mysql命令以及資料匯入Mysql資料庫

連線MYSQL資料庫 mysql -h${db_ip} -u${db_user} -p${db_pawd} -P${db_port} -D${db_name} -s -e "${sql}"   db_ip:主機地址   db_user :資料庫使用者名稱   db_pwd:密碼   db

hbase shell操作命令大全

一、hbase web操作 訪問地址 http://h71:60010h71的ip配置在$HBASE_HOME/conf/hbase-site.xml中 hbase.master.info.port HBase Master web 介面埠. 設定為 -1 意味著你不想讓它

flume資料匯入hbase

1 將hbase的lib目錄下jar拷貝到flume的lib目錄下;2 在hbase中建立儲存資料的表hbase(main):002:0> create 'test_idoall_org','uid','name'3 建立flume配置檔案 vi.confa1.sour

通過sqoopMySQL資料庫中的資料匯入Hbase

從接觸到大資料到成功的實現一個功能期間走了不少彎路也踩了不少坑,這裡作為我的學習筆記也可以作為小白們的前車之鑑,少走彎路,有不正確之處,望指出 環境準備: hadoop、hbase、sqoop、mys

sqooporacle資料匯入Hbase 使用筆記

網上已經有很多關於這方面的資料,但是我在使用過程中也遇見了不少問題 1. sqoop 的環境我沒有自己搭建  直接用的公司的 2. oracle 小白怕把公司環境弄壞了,自己用容器搭建了一個 docker pull docker.io/wnameless/oracle-xe

使用sqoop命令把oracle資料匯入hdfs/hbase/hive

(一)匯入HDFS建立Job#!/bin/bash #Oracle的連線字串,其中包含了Oracle的地址,SID,和埠號 CONNECTURL=jdbc:oracle:thin:@10.122.5.2:1521:db #使用的使用者名稱 ORACLENAME=db #使用的

Sqoop_詳細總結 使用SqoopHDFS/Hive/HBase與MySQL/Oracle中的資料相互匯入、匯出

一、使用Sqoop將MySQL中的資料匯入到HDFS/Hive/HBase 二、使用Sqoop將HDFS/Hive/HBase中的資料匯出到MySQL2.3HBase中的資料匯出到mysql目前沒有直

使用Sqoop資料從RDBMS(關係型資料庫) 到hdfs和Hive的匯入匯出

一、RDBMS 到 HDFS/HIVE 1.首先啟動Mysql service mysql start 2.在mysql中新建一張表並插入資料 # mysql -uroot -proot mysql> create table dept(id int pri

flume資料匯入hbase

安裝flume: [[email protected] ~]$ tar -zxvf flume-ng-1.6.0-cdh5.5.2.tar.gz 修改 flume-env.sh 配置檔案,主要是JAVA_HOME變數設定 [[email protect

sqlserver的資料匯入hbase

將sqlserver的資料匯入hbase中 1.解壓sqoop-sqlserver-1.0.tar.gz,並改名(可以不改)          tar  -zxvf  sqoop- sql

使用POI操作Excel資料匯入mysql

原本的工程:POI-Excel.zip(下載)【需要自己註冊了一個碼雲帳號才可以下載】 利用POI將excel資料匯入資料庫目前還是比較流行,但是表格某些欄位需要進行特殊處理,比如日期,excel的日期在java裡面讀出來是一個數字(number)並非日期格式的字串,等等。1

使用sqoop資料從hdfs中匯入mysql時,卡在INFO mapreduce.Job: map 100% reduce 0%的解決辦法

最近在將hdfs中已經處理好的資料匯入到mysql的時候遇到這麼一個現象,當任務執行到 INFO mapreduce.Job: map 100% reduce 0% mapreduce任務卡在map100% ,任何reduce不繼續執行。 總結了以下解決辦法: 一,如果沒

MapReduceHDFS文字資料匯入HBase

HBase本身提供了很多種資料匯入的方式,通常有兩種常用方式: 使用HBase提供的TableOutputFormat,原理是通過一個Mapreduce作業將資料匯入HBase 另一種方式就是使用HBase原生Client API 本文就是示範如何通過M

Kettle Oracle資料匯入HBase的注意事項

      使用Kettle採集Oracle資料,匯入到HBase。 Kettle是一個比較好用的ETL工具,個人感覺Kettle比Sqoop還要好用,主要是因為Kettle通過視覺化,元件式拖拉配置

hive over hbase方式文字庫資料匯入hbase

1,建立hbase表Corpus >> create 'Corpus','CF' 2,建立hive->hbase外表logic_Corpus,並對應hbase中的Corpus表 >> CREATE EXTERNAL TABLE logic_Co

Sqoop_具體總結 使用SqoopHDFS/Hive/HBase與MySQL/Oracle中的數據相互導入、導出

能夠 mes south ase form html 技術 popu 沒有 一、使用Sqoop將MySQL中的數據導入到HDFS/Hive/HBase 二、使用Sqoop將HDFS/Hive/HBase中的數據導出到MySQL 2.3 HBase中的數據

Hbase常用操作命令

desc repl col 目錄 刪除 AR shel BE 說明 Hbase常用操作命令 1. 進入hbase ./hbase shell 參數說明 進入到hbase目錄並進入hbase 2. 瀏覽所有表 list 參數說明

使用POI資料匯入匯出資料庫。

POI將資料匯入匯出資料庫。(採用ssm框架) 1.前臺列表的展示 <script type="text/javascript"> //進行資料的全選 function selectAll(){ var ids=document.get

java後端伺服器讀取excel資料匯入資料庫

使用的是easypoi,官網文件:http://easypoi.mydoc.io/ 1 /** 2 * 匯入Excel檔案 3 */ 4 @PostMapping("/importTeacher") 5 @ResponseBody 6 publi