Sqoop是一款開源的工具，主要用於在Hadoop(Hive)與傳統的資料庫(mysql、postgresql...)間進行資料的傳遞，可以將一個關係型資料庫（例如 ： MySQL ,Oracle ,Postgres等）中的資料導進到Hadoop的HDFS中，也可以將HDFS的資料導進到關係型資料庫中。

Sqoop的基本認知

原理
將匯入或匯出命令翻譯成mapreduce程式來實現。
在翻譯出的mapreduce中主要是對inputformat和outputformat進行定製。
安裝
Sqoop的安裝也很簡單，首先我們需要有有一個Sqoop安裝包，這個包老夫也提供了。
我們在如下目錄中:

drwxr-xr-x 2 corp corp    4096 Dec 19  2017 bin
-rw-rw-r-- 1 corp corp   55089 Dec 19  2017 build.xml
-rw-rw-r-- 1 corp corp   47426 Dec 19  2017 CHANGELOG.txt
-rw-rw-r-- 1 corp corp    9880 Dec 19  2017 COMPILING.txt
drwxr-xr-x 2 corp corp    4096 Dec 19  2017 conf
drwxr-xr-x 5 corp corp    4096 Dec 19  2017 docs
drwxr-xr-x 2 corp corp    4096 Dec 19  2017 ivy
-rw-rw-r-- 1 corp corp   11163 Dec 19  2017 ivy.xml
drwxr-xr-x 2 corp corp    4096 Dec 19  2017 lib
-rw-rw-r-- 1 corp corp   15419 Dec 19  2017 LICENSE.txt
-rw-rw-r-- 1 corp corp     505 Dec 19  2017 NOTICE.txt
-rw-rw-r-- 1 corp corp   18772 Dec 19  2017 pom-old.xml
-rw-rw-r-- 1 corp corp    1096 Dec 19  2017 README.txt
-rw-rw-r-- 1 corp corp 1108073 Dec 19  2017 sqoop-1.4.7.jar
-rw-rw-r-- 1 corp corp    6554 Dec 19  2017 sqoop-patch-review.py
-rw-rw-r-- 1 corp corp  765184 Dec 19  2017 sqoop-test-1.4.7.jar
drwxr-xr-x 7 corp corp    4096 Dec 19  2017 src
drwxr-xr-x 4 corp corp    4096 Dec 19  2017 testdata
 

我們進入到 conf/ 目錄下，先修改檔案 sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2
export HIVE_HOME=/opt/module/apache-hive-1.2.1
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10
export HBASE_HOME=/opt/module/hbase-1.1.2
 

再將我們的JDBC的驅動拷貝到 sqoop的 lib/ 下

cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.7/lib/

我們可以通過某一個command來驗證sqoop配置是否正確：

bin/sqoop help

Available commands:
  codegen            Generate code to interact with database records
  create-hive-table  Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables  Import tables from a database to HDFS
  import-mainframe   Import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases     List available databases on a server
  list-tables        List available tables in a database
  merge              Merge results of incremental imports
  metastore          Run a standalone Sqoop metastore
  version            Display version information
 

測試Sqoop能否連線到MySQL

bin/sqoop list-databases --connect jdbc:mysql://hadoop101:3306/ --username root --password 000000

# 出現下面的標識連線成功了
information_schema
amon
azkaban
cm
corp-ci
hive
hue
metastore
mysql
oozie
performance_schema
telecom-customer-service
test

Sqoop的連線案例

匯入資料

Note: 在Sqoop中，“匯入”概念指：從非大資料叢集（RDBMS）向大資料叢集（HDFS，HIVE，HBASE）中傳輸資料，叫做：匯入，即使用import關鍵字。

RDBMS到HDFS

1) 確定Mysql服務開啟正常
2) 在Mysql中新建一張表並插入一些資料
下面是老夫之前在資料庫中就已經存在的資料，在140W+

全部匯入

bin/sqoop import \
--connect jdbc:mysql://hadoop101:3306/sun-iot \
--username root \
--password 000000 \
--table telecom-customer-service \
--target-dir /user/telecom-customer-service \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

查詢匯入

bin/sqoop import \
--connect jdbc:mysql://hadoop101:3306/sun-iot \
--username root \
--password 000000 \
--target-dir /user/telecom-customer-service \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select call1,call2,date_time,duration from telecom-customer-service where id <=1 and $CONDITIONS;'

Note:

提示：must contain '$CONDITIONS' in WHERE clause.
如果query後使用的是雙引號，則$CONDITIONS前必須加轉移符，防止shell識別為自己的變數。

匯入指定列

bin/sqoop import \
--connect jdbc:mysql://hadoop101:3306/sun-iot \
--username root \
--password 000000 \
--target-dir /user/sun-iot \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns id,call1,calla_name,call2,call2_name,date_time,duration \
--table telecom-customer-service

刪選關鍵字匯入

bin/sqoop import \
--connect jdbc:mysql://hadoop101:3306/sun-iot \
--username root \
--password 000000 \
--target-dir /user/sun-iot \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table telecom-customer-service \
--where "id=1"

RDBMS到Hive

bin/sqoop import \
--connect jdbc:mysql://hadoop101:3306/sun-iot \
--username root \
--password 000000 \
--table telecom-customer-service \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table sun_iot.telecom_customer_service

Note: 提示：該過程分為兩步，第一步將資料匯入到HDFS，第二步將匯入到HDFS的資料遷移到Hive倉庫，第一步預設的臨時目錄是/user/corp/表名

RDBMS到Hbase

bin/sqoop import \
--connect jdbc:mysql://hadoop101:3306/sun-iot \
--username root \
--password 000000 \
--table telecom-customer-service \
--columns "id,call1,call1_name,call2,call2_name,date_time,date_time_ts,duration" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id,call1,call2" \
--hbase-table "telecom_customer_service" \
--num-mappers 1

匯出

在Sqoop中，“匯出”概念指：從大資料叢集（HDFS，HIVE，HBASE）向非大資料叢集（RDBMS）中傳輸資料，叫做：匯出，即使用export關鍵字。

bin/sqoop export \
--connect jdbc:mysql://hadoop101:3306/sun-iot \
--username root \
--password 000000 \
--table telecom-customer-service \
--num-mappers 1 \
--export-dir /user/hive/warehouse/telecom-customer-service \
--input-fields-terminated-by "\t"

Sqoop一些常用命令及引數

常用命令列舉

這裡給大家列出來了一部分Sqoop操作時的常用引數，以供參考，需要深入學習的可以參看對應類的原始碼。

命令&引數詳解

剛才列舉了一些Sqoop的常用命令，對於不同的命令，有不同的引數，讓我們來一一列舉說明。

首先來我們來介紹一下公用的引數，所謂公用引數，就是大多數命令都支援的引數。

公用引數：資料庫連線

公用引數：import

公用引數：export

公用引數：hive

公用引數介紹完之後，我們來按照命令介紹命令對應的特有引數。

命令&引數：import

將關係型資料庫中的資料匯入到HDFS（包括Hive，HBase）中，如果匯入的是Hive，那麼當Hive中沒有對應表時，則自動建立。

1) 命令：

如：匯入資料到hive中

bin/sqoop import \
--connect jdbc:mysql://hadoop101:3306/sun-iot \
--username root \
--password 000000 \
--table staff \
--hive-import

如：增量匯入資料到hive中，mode=append

 bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--num-mappers 1 \
--fields-terminated-by "\t" \
--target-dir /user/hive/warehouse/staff_hive \
--check-column id \
--incremental append \
--last-value 3

尖叫提示： append不能與--hive-等引數同時使用（Append mode for hive imports is not yet supported. Please remove the parameter --append-mode）

如：增量匯入資料到hdfs中，mode=lastmodified

# 先在mysql中建表並插入幾條資料：
mysql> create table company.staff_timestamp(id int(4), name varchar(255), sex varchar(255), last_modified timestamp DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP);
mysql> insert into company.staff_timestamp (id, name, sex) values(1, 'AAA', 'female');
mysql> insert into company.staff_timestamp (id, name, sex) values(2, 'BBB', 'female');

# 先匯入一部分資料：
$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff_timestamp \
--delete-target-dir \
--m 1

# 再增量匯入一部分資料：
mysql> insert into company.staff_timestamp (id, name, sex) values(3, 'CCC', 'female');

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff_timestamp \
--check-column last_modified \
--incremental lastmodified \
--last-value "2017-09-28 22:20:38" \
--m 1 \
--append

尖叫提示：使用lastmodified方式匯入資料要指定增量資料是要--append（追加）還是要--merge-key（合併）
尖叫提示：last-value指定的值是會包含於增量匯入的資料中

2) 引數：

命令&引數：export

從HDFS（包括Hive和HBase）中獎資料匯出到關係型資料庫中。

1) 命令：

如：

$ bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--export-dir /user/company \
--input-fields-terminated-by "\t" \
--num-mappers 1

2) 引數：

命令&引數：codegen

將關係型資料庫中的表對映為一個Java類，在該類中有各列對應的各個欄位。
如：

$ bin/sqoop codegen \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--bindir /home/admin/Desktop/staff \
--class-name Staff \
--fields-terminated-by "\t"

5.2.8 命令&引數：create-hive-table

生成與關係資料庫表結構對應的hive表結構。

命令：
如：

bin/sqoop create-hive-table \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--hive-table hive_staff

引數：

命令&引數：eval

可以快速的使用SQL語句對關係型資料庫進行操作，經常用於在import資料之前，瞭解一下SQL語句是否正確，資料是否正常，並可以將結果顯示在控制檯。

命令：

如：

bin/sqoop eval \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--query "SELECT * FROM staff"

引數：

命令&引數：import-all-tables

可以將RDBMS中的所有表匯入到HDFS中，每一個表都對應一個HDFS目錄

命令：

如：

bin/sqoop import-all-tables \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--warehouse-dir /all_tables

引數：
| 序號 | 引數 | 說明 |
| -------- | ------------------------- | -------------------------------------- |
| 1 | --as-avrodatafile | 這些引數的含義均和import對應的含義一致 |
| 2 | --as-sequencefile | |
| 3 | --as-textfile | |
| 4 | --direct | |
| 5 | --direct-split-size

bin/sqoop job \
 --create myjob -- import-all-tables \
 --connect jdbc:mysql://hadoop102:3306/company \
 --username root \
 --password 000000
$ bin/sqoop job \
--list
$ bin/sqoop job \
--exec myjob

<property>
    <name>sqoop.metastore.client.record.password</name>
    <value>true</value>
    <description>If true, allow saved passwords in the metastore.</description>
</property>

bin/sqoop list-databases \
--connect jdbc:mysql://hadoop102:3306/ \
--username root \
--password 000000

bin/sqoop list-tables \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000

new_staff
1       AAA     male
2       BBB     male
3       CCC     male
4       DDD     male
old_staff
1       AAA     female
2       CCC     female
3       BBB     female
6       DDD     female

建立JavaBean：
$ bin/sqoop codegen \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--bindir /home/admin/Desktop/staff \
--class-name Staff \
--fields-terminated-by "\t"

開始合併：
$ bin/sqoop merge \
--new-data /test/new/ \
--onto /test/old/ \
--target-dir /test/merged \
--jar-file /home/admin/Desktop/staff/Staff.jar \
--class-name Staff \
--merge-key id
結果：
1    AAA    MALE
2    BBB    MALE
3    CCC    MALE
4    DDD    MALE
6    DDD    FEMALE

bin/sqoop metastore