1. 程式人生 > >使用 Sqoop 從 MySQL 同步表到 Hive 叢集

使用 Sqoop 從 MySQL 同步表到 Hive 叢集

Sqoop 是 Cloudera 公司創造的一個數據同步工具,現在已經完全開源了。 

目前已經是 hadoop 生態環境中資料遷移的首選,另外還有 ali 開發的 DataX 屬於同類型工具,由於社群的廣泛使用和文件的健全,調研之後決定使用 Sqoop 來做我們之後資料同步的工具。

 

 

 

Reference:

https://archive.cloudera.com/cdh6/6.0.1/docs/sqoop-1.4.7-cdh6.0.1/SqoopUserGuide.html  Sqoop User Guide (v1.4.7-cdh6.0.1)

https://blog.csdn.net/Gavin_chun/article/details/78314065  SQOOP從MySQL匯入資料到Hive

https://segmentfault.com/a/1190000002532293  sqoop  匯入關係資料庫到 hive

https://blog.csdn.net/myrainblues/article/details/43673129  sqoop使用中文手冊

https://blog.csdn.net/lyp5257918/article/details/53820690  sqoop抽取文字資料到hive由於存在空字元導致欄位錯位和丟失錯誤

https://www.youtube.com/watch?v=72M5lMP8dMg  COSO IT Sqoop Tutorial