1. 程式人生 > >將遠端伺服器上資料庫匯入到本地伺服器hive上流程

將遠端伺服器上資料庫匯入到本地伺服器hive上流程

問題:公司對接的第三方公司的資料是存在sqlserver上,需要通過vpn的方式獲取資料並存儲到hive上。解決步驟如下:

1.通過VPN連線遠端伺服器,通過資料庫賬戶密碼連線遠端資料庫;

配置vpn參考:

https://jingyan.baidu.com/article/3052f5a1c99c0497f31f86ad.html

2.遠端資料庫為SQLserver,通過ODBC驅動將資料匯入到本地Mysql中;具體細節參考:

3.將本地mysql資料庫中資料備份到19伺服器資料庫上;

方法一:通過右鍵目標資料庫,選擇資料傳輸選項,配置相關資料庫連線和選擇好表即可;

方法二:通過轉儲sql檔案的形式,先匯出sql檔案,再在目標資料庫執行sql檔案,該方法比較繁瑣,適合小資料量備份。

4.通過sqoop工具將19伺服器上mysql資料表匯入到hive上;參考命令如下:

sqoop import -m 1 --connect jdbc:mysql://ip:3306/database--username username --password password --table tablename --hive-import--hive-database hivedatabase --hive-overwrite --create-hive-table --hive-table hivetablename--delete-target-dir