一、Sqoop介紹

• Sqoop是一個用來將關係型資料庫和Hadoop中的資料進行相互轉移的工具，可以將一個關係型資料庫(例如Mysql、Oracle)中的資料匯入到Hadoop(例如HDFS、Hive、Hbase)中，也可以將Hadoop(例如HDFS、Hive、Hbase)中的資料匯入到關係型資料庫(例如Mysql、Oracle)中。

• Sqoop工具接收到客戶端的shell命令或者Java api命令後，通過Sqoop中的任務翻譯器(Task Translator)將命令轉換為對應的MapReduce任務，而後將關係型資料庫和Hadoop中的資料進行相互轉移，進而完成資料的拷貝。

二、匯入資料 

1、引數說明

## 連結MySQL資料庫url
--connect jdbc:mysql://127.0.0.1:3306/test_db

## 連結MySQL資料庫使用者名稱
--username root

## 連結MySQL資料庫密碼
--password 123456

## 連結MySQL資料庫中的表
--table tb1

## 設定map的個數
--num-mappers 1 

## 設定匯入到hdfs檔案所在的位置
--target-dir /datas/sqoop/input

## 設定匯入到hdfs檔案前先刪除已經存在的目錄
--delete-target-dir 

## 設定匯入到hdfs檔案的分隔符
--fields-teminated-by ',' 

## 設定增量匯入到hdfs上的檢查列
--check-column id 

## 設定增量匯入到hdfs上的追加方式
--incremental append 

## 設定增量匯入到hdfs上的開始位置
--last-value 4

## 設定增量匯入到hdfs上的檔案儲存格式
--as-parquetfile

## 指定hive中的資料庫
--hive-database test_db 

## 設定操作型別
--hive-import 

## 指定hive中的表
--hive-table tb1

## 備註：delete-target-dir和incremental append不能同時使用
 

2、Sqoop獲取MySQL的所有資料庫

sqoop list-databases \
--connect jdbc:mysql://127.0.0.1:3306 \
--username root \
--password 123456;

3、Sqoop從MySQL匯入資料到HDFS

sqoop import \
--connect jdbc:mysql://127.0.0.1:3306/test_db \
--username root \
--password 123456 \
--table tb1 \
--num-mappers 1 \
--target-dir /datas/sqoop/input \
--delete-target-dir;
 

4、Sqoop從MySQL匯入資料到Hive

sqoop import \
--connect jdbc:mysql://127.0.0.1:3306/test \
--username root \
--password 123456 \
--table tb1 \
--num-mappers 1 \
--fields-terminated-by ',' \
--delete-target-dir \
--hive-database test \
--hive-import \ 
--hive-table tb1;

三、匯出資料

1、引數說明

## 連結MySQL資料庫url
--connect jdbc:mysql://127.0.0.1:3306/test_db

## 連結MySQL資料庫使用者名稱
--username root

## 連結MySQL資料庫密碼
--password 123456

## 連結MySQL資料庫中的表
--table tb1

## 設定map的個數
--num-mappers 1

## 設定hdfs檔案匯出的分隔符
--fields-terminated-by ','

## 設定hdfs檔案所在的位置
--export-dir /user/hive/warehouse/test_db.db/tb1

2、Sqoop從Hive匯出資料到MySQL

sqoop export \
--connect jdbc:mysql://127.0.0.1:3306/test_db \
--username root \
--password 123456 \
--table tb1 \
--num-mappers 1 \
--fields-terminated-by ',' \
--export-dir /user/hive/warehouse/test_db.db/tb1;