1. 程式人生 > >Loading Data From Oracle To Hive By ODI 12c

Loading Data From Oracle To Hive By ODI 12c

ODI Oracle Hive

本文描述如何通過ODI將Oracle表數據同步到Hive。
1、準備工作
在hadoop集群的各個節點分別安裝Oracle Big Data Connectors,具體的組件如下圖所示:
技術分享圖片
這裏只需安裝Oracle Loader For Hadoop(oraloader)以及Oracle SQL Connector for Hadoop Distributed File System (oraosch)兩個軟件。安裝比較簡單,直接解壓即可使用(這裏的ODI、oraosch以及oraloader組件都是以oracle用戶身份安裝的。)
2、創建目標表
在Hive上創建目標表,如下:

CREATE TABLE `RHNPACKAGE2`(
  `id` bigint, 
  `org_id` bigint, 
  `name_id` bigint, 
  `evr_id` bigint, 
  `package_arch_id` bigint, 
  `package_group` bigint, 
  `rpm_version` string, 
  `description` string, 
  `summary` string, 
  `package_size` bigint, 
  `payload_size` bigint, 
  `installed_size` bigint, 
  `build_host` string, 
  `build_time` timestamp, 
  `source_rpm_id` bigint, 
  `checksum_id` bigint, 
  `vendor` string, 
  `payload_format` string, 
  `compat` bigint, 
  `path` string, 
  `header_sig` string, 
  `copyright` string, 
  `cookie` string, 
  `last_modified` timestamp, 
  `created` timestamp, 
  `header_start` bigint, 
  `header_end` bigint, 
  `modified` timestamp);

3、創建映射
之前已經創建好oracle和hive模型,這裏直接使用其創建映射。如下圖所示:
技術分享圖片
Integration Type設置屬性:
技術分享圖片
連接設置屬性:
技術分享圖片
過濾設置屬性:
技術分享圖片
LKM設置屬性:
技術分享圖片
IKM設置屬性:
技術分享圖片
如果設置TRUNCATE的值為True,每次導入之前,會把表裏的數據清空再導入,默認為false。
4、執行映射
結果如下圖:
技術分享圖片

Loading Data From Oracle To Hive By ODI 12c