大資料協作框架

“大資料協作框架”其實是一個統稱，實際上就是Hadoop 2.x生態系統中幾個輔助Hadoop 2.x框架。在此，主要是以下四個框架:

• 資料轉換工具Sqoop
  
• 檔案收集庫框架Flume
  
• 任務排程框架Oozie
  
• 大資料WEB工具Hue
  

選擇CDH5.3.x版本框架

Cloudera公司釋出的CDH 版本，為眾多公司所使用，包括國內的京東、一號店、淘寶、百度等電商網際網路大中小性公司。Cloudera公司釋出的每一個CDH版本，其中一個最大的好處就是，幫我們解決了大資料Hadoop 2.x生態系統中各個框架的版本相容問題，我們直接選擇某一版本，比如CDH5.3.6版本，其中hadoop版本2.5.0，hive版本0.13.1，flume版本1.4.5；還有一點就是類似Sqoop、Flume、Oozie等框架，在編譯的時候都要依賴對應的Hadoop 2.x版本，使用CDH版本的時候，已經給我們編譯好了，無需再重新配置編譯。

在使用sqoop需要先部署CDH版本的hadoop&hive

CDH版本和apache版本的服務不要混用只開啟cdh或者apache服務就可以了
部署方式參考apache版本

Apache Sqoop

Apache Sqoop(TM) is a tool designed for efficientlytransferring bulk data between Apache Hadoop and

structured datastores such as relational databases.

sqoop1&sqoop2

• 兩個不同版本，完全不相容
  
• 版本號劃分方式 :

                Apache：1.4.x~ ，1.99.x~

• Sqoop2比Sqoop1的改進:

                引入sqoop server，集中化管理Connector等

                多種訪問方式：CLI，Web UI，REST API

                引入基於角色的安全機制

sqoop分為sqoop和sqoop2

sqoop2拆分server和client，有點類似於hiveserver2和beeline

sqoop早起是一些分裝好的MR程式，以jar檔案的形式，最後才演變成框架形式

sqoop底層的執行MR任務，但是sqoop任務只有map任務，沒有reduce任務

用於在hadoop和結構化資料庫（關係型資料庫）之間的高效傳輸批量資料的工具

資料的匯入和匯出

sqoop架構圖

sqoop使用要點

一、sqoop部署

二、sqoop使用

1、檢視幫助資訊

bin/sqoop help

2、測試：sqoop連線mysql

bin/sqoop list-databases --help

bin/sqoop list-databases --connect jdbc:mysql://hadoop01.xningge.com:3306/ --username xningge --password 123456

三、sqoop匯入 import

匯入匯出
**以hdfs為基準
**rdbms  --> hdfs   --> 匯入 -  import

**hdfs   --> rdbms  --> 匯出 -  export

匯入資料HDFS

sqoop import

【mysql -> hdfs】import

在mysql操作
使用資料庫
create database sqoop;
use sqoop;
建立表
create table tohdfs(
id int primary key not null,
name varchar(20) not null
);

insert into tohdfs values(1,'one');
insert into tohdfs values(2,'two');
insert into tohdfs values(3,'three');
insert into tohdfs values(4,'four');
insert into tohdfs values(5,'five');

1、sqoop的常規命令：
檢視import使用引數：bin/sqoop import --help
bin/sqoop import \
--connect jdbc:mysql://hadoop01.xningge.com:3306/sqoop \
--username xningge \
--password 123456 \
--table tohdfs

檢視HDFS的輸出目錄：mapreduce.output.fileoutputformat.outputdir 

hdfs://hadoop01.xningge.com:8020/user/hadoop/tohdfs

2、控制map的任務個數：-m,--num-mappers <n> 
並且輸出路徑如果存在可以使用--delete-target-dir刪除

bin/sqoop import \
--connect jdbc:mysql://hadoop01.xningge.com:3306/sqoop \
--username xningge \
--password 123456 \
--delete-target-dir \
--table tohdfs \
-m 1

3、指定匯入的輸出目錄：--target-dir <dir> 
bin/sqoop import \
--connect jdbc:mysql://hadoop01.xningge.com:3306/sqoop \
--username xningge \
--password 123456 \
--delete-target-dir \
--target-dir /sqoop_test \
--table tohdfs \
-m 1

4、指定資料輸出分隔符（mysql預設的分隔符是 ","  hive預設的分割符是"\001" 也就是^A）
Output line formatting arguments:
--fields-terminated-by <char>

bin/sqoop import \
--connect jdbc:mysql://hadoop01.xningge.com:3306/sqoop \
--username xningge \
--password 123456 \
--delete-target-dir \
--target-dir /sqoop_test \
--table tohdfs \
-m 1 \
--fields-terminated-by "\t"

5、快速模式 --direct

bin/sqoop import \
--connect jdbc:mysql://hadoop01.xningge.com:3306/sqoop \
--username xningge \
--password 123456 \
--direct \
--delete-target-dir \
--target-dir /sqoop_test \
--table tohdfs \
-m 1 \
--fields-terminated-by "\t"

6、增量匯入（從原有的資料上進行追加資料）：

官網：

--check-column (col)：指定要確定匯入時，行的檢查列，一般都是拿主鍵作為檢測列，注意：char，vachar型別是不可以使用
--incremental (mode)：有兩種模式：append 和lastmodified 
append：追加，和lastmodified 時間戳
--last-value (value)：指定上次匯入檢查列最後欄位的最大值，也就是最後一個值

append模式：
--check-columnid
--last-value    5

lastmodified 模式：
--check-columntime    time列下面的資料：指的是你新增資料時的最後一個欄位
--last-valuelast-time最後一行的時間戳

append模式增量匯入：

在mysql裡增加資料：

insert into tohdfs values(16,'one');
insert into tohdfs values(17,'two');
insert into tohdfs values(18,'three');
insert into tohdfs values(19,'four');
insert into tohdfs values(20,'five');

匯入：注意下  --delete-target-dir 和 --append不能同時使用

bin/sqoop import \
--connect jdbc:mysql://hadoop01.xningge.com:3306/sqoop \
--username xningge \
--password 123456 \
--direct \
--target-dir /sqoop_test \
--table tohdfs \
-m 1 \
--fields-terminated-by "\t" \
--check-column id \
--incremental append \
--last-value 15 

如果使用lastmodified模式：在mysql建表時，新增關於時間戳的列

--incremental lastmodified
--check-column last_mod
--last-value 2018-01-20 21:29:48.0  
date={date -d 'last day'  +'%Y-%m-%d %H:%M'}

7、sqoop job
bin/sqoop job --create jobID01   建立
bin/sqoop job --show jobID01     顯示job的詳細資訊
bin/sqoop job --list             顯示可用的job
bin/sqoop job --exec     執行job

在mysql中再次插入資料：

insert into tohdfs values(21,'one');
insert into tohdfs values(22,'two');
insert into tohdfs values(23,'three');
insert into tohdfs values(24,'four');
insert into tohdfs values(25,'five');

建立job：
bin/sqoop job \
--create jobID01 \
-- \
import \
--connect jdbc:mysql://hadoop01.xningge.com:3306/sqoop \
--username xningge \
--password 123456 \
--direct \
--target-dir /sqoop_test \
--table tohdfs \
-m 1 \
--fields-terminated-by "\t" \
--check-column id \
--incremental append \
--last-value 20

bin/sqoop job --exec  jobID01 執行job的時候會輸入密碼，一般指定成mysql的登陸密碼

sqoop import hive

【mysql -> hive】import

bin/sqoop import \
--connect jdbc:mysql://hadoop01.xningge.com:3306/sqoop \
--username xningge \
--password 123456 \
--table tohdfs \
--direct \
--delete-target-dir \
--hive-import \
--hive-database student \
--hive-table stu_info \
--fields-terminated-by "\t" \
-m 1 

在hive中操作：
create database student;
建立接收表
create table stu_info(
num int,
name string
)
row format delimited fields terminated by "\t";

機制：執行mr任務時，結果將會儲存在預設的輸出目錄上，將結果集檔案移動到hive對應表的資料夾下

從mysql-> hdfs/hive 應用場景：

主要用來分析mysql儲存歷史資料（公司的業務日誌，系統的資料）

sqoop匯出export

【hdfs -> mysql】
1、常規模式匯入到mysql
bin/sqoop export \
--connect jdbc:mysql://hadoop01.xningge.com:3306/sqoop \
--username xningge \
--password 123456 \
--table tomysql \
--export-dir /sqoop_test \
-m 1 \
--input-fields-terminated-by '\t'

先在mysql中建立表
create table tomysql(
id int primary key not null,
name varchar(20) not null
);

2、使用sqoop執行一個file檔案： --options-file
        類似於hive的-f選項
1)vi  sqoop.file
2)寫命令
寫法：一行key ，一行value
export 
--connect 
jdbc:mysql://hadoop01.xningge.com:3306/sqoop 
--username 
root 
--password 
123456 
--table 
filetomysql 
--export-dir 
/sqoop_test 
-m 
1
--input-fields-terminated-by 
'\t'
3)在mysql中建立表
create table filetomysql(
id int primary key not null,
name varchar(20) not null
);
4)執行檔案：
bin/sqoop --options-file /opt/datas/sqoop.file 
從hive/hdfs -> mysql 應用場景：

主要用來把分析結果進行永久儲存，用於前端展示