使用SQoop Job做增量導入：

說明：

　　在執行導入模式為incremental 的sqoop job時，sqoop會獲取上次導入操作的 -check-column的value值，也就是說使用sqoop job在做增量導入的時候，不用手動指定 --last-value的值。

但是也有這樣的一種情況，sqoop job中如果指定了--incremental 為append模式導入，在指定了增量列--check-column之後，比如id為增量列，並且指定了--last-value的值，比如設置為100，那麽在執行sqoop job的時候就會將id>100的行導入到hive中去。

增量導入簡單實例：

1、mysql建表

CREATE TABLE `sqoop_job_incremental` (
  `id` int(11) DEFAULT NULL,
  `name` varchar(255) DEFAULT NULL,
  `last_mod` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=latin1

2、插入數據

insert into sqoop_job_incremental(id,name) values(1
 
,‘name1‘);
insert into sqoop_job_incremental(id,name) values(2,‘name2‘);
insert into sqoop_job_incremental(id,name) values(3,‘name3‘);

3、將mysql表結構同步到hive中

sqoop create-hive-table --connect jdbc:mysql://192.168.200.100:3306/yang --username root --password 010209 --table sqoop_job_incremental 
--hive-table sqoop_job_incremental --fields-terminated-by ‘
 
,‘

4、創建增量導入的sqoop job

5、執行job

6、加入增量導入的數據

7、再次執行job

Sqoop（四）增量導入