1. 程式人生 > >關於 MongoDB 與 SQL Server 通過本身自帶工具實現數據快速遷移 及 註意事項 的探究

關於 MongoDB 與 SQL Server 通過本身自帶工具實現數據快速遷移 及 註意事項 的探究

數據遷移工具 文件中 文件導入 原本 修改字段 信息 字符 變化 是否

背景介紹

隨著業務的發展、需求的變化,促使我們追求使用不同類型的數據庫,充分發揮其各自特性。如果決定采用新類型的數據庫,就需要將既有的數據遷移到新的數據庫中。在這類需求中,將SQL Server中的數據導入到MongoDB 中顯得尤為突出。

面對這種需求,大家優先想到的就是百度查找第三方工具,可惜截止目前,還沒有一款公認比較滿意的數據遷移工具。百度不到,大家可能就要回頭自己開發了。如此,更是花費不少人力物力和寶貴的精力。甚至,由於沒有理想的遷移工具,導致項目優化一再延遲。

其實,你原本不必如此!因為,還有一個工具,並且性能還傲視群雄。

那就是充分挖掘數據庫自身的導出導入功能。

原理

MongoDB數據庫 可以通過mongoexport/mongoimport命令進行數據的導出導入,並且支持文件CSV格式;

SQL Server 數據庫 一樣可以進行導出導入【“任務”—>導出數據/導入數據】,其數據一樣可以保存到CSV文件中。

那麽,我們是不是可以借助 CSV文件,在這兩種數據庫間進行數據遷移呢?

答案是肯定的!答案是肯定的!答案是肯定的!

此外,數據直接導出導入,性要比其它工具快一個數量級。

即:通過SQL Server 和 MongoDB 本身自帶的 導入導出功能 ,可以實現數據的快速遷移

將SQL Server中的數據導入到MongoDB中

step 1 選擇指定數據庫,進行【導出數據】

技術分享圖片

step 2 選擇導出的數據源信息

因在SQL Server 服務器上執行,服務器名稱可選擇本地(. 即可),身份認證可以使用Window身份驗證(如SQL Server 禁用了此window登入方式,那麽就要使用SQL Server 身份驗證),然後,選擇數據庫。

技術分享圖片

step 3 選擇導出目標(此為關鍵步驟

目標一定要選擇 【平面文件目標】

技術分享圖片

為 導出文件命名 選擇 【瀏覽】,在打開的 界面上 選擇導出文件類型【CSV 文件(*.csv)】

技術分享圖片

例如,文件命名為SQLToMongoDB01

技術分享圖片

點擊 【下一步】

技術分享圖片

Step 4 指定表復制 或 查詢

可以指定從數據源復制一個或多個表和視圖,還是通過 T_SQL 語句從數據源中復制查詢結(可以指定選擇列 或對列二次加工後的數據)。

技術分享圖片

Step 5 配置平面文件目標

在這一步選擇要導出的表或視圖

技術分享圖片

如果想對 field 字段 進行修改,可以選擇 【編輯映射】

對想要修改的列命進行重命名,例如 將SQL Server 中的 AreaCode 命名 而在MongoDB中命名為 AreaCodeMongoDB

技術分享圖片

然後 點擊 【下一步】

技術分享圖片

Step 6 保存並運行包

直接點擊 【下一步】

技術分享圖片

Step 7 完成該向導

直接點擊 【完成】

技術分享圖片

數據導出成功

技術分享圖片

導出數據773838 筆數據。

Step 8 將產生的文件Copy至 MongoDB 服務器上

Step 9 在mongoDB 服務器上 執行 mongoimport 命令, 將從 SQL Server 導出的csv 數據導入到MongoDB中。

執行命令 為

/data/mongodb/mongobin344/bin/mongoimport --file /data/mongodb_back/SQLToMongoDB01.csv -h 172.X.X.XXX --port 端口 --type csv --headerline -u 用戶名 -p ‘密碼‘ -d testdba0906 --authenticationDatabase 認證數據庫 -c SQLToMongoDB01

技術分享圖片

執行成功,導入數據 773838 個文檔。並且可以看到很快,不到15S。

此部分 測試驗證OK!

將 MongoDB中的數據導入的SQL Server 中

Step 1 使用 mongoexport 將MongoDB數據庫中的數據導出

執行命令

/data/mongodb/mongobin344/bin/mongoexport -h 172.X.X.X --port 端口 --type csv -u 用戶名 -p ‘密碼‘ -d testdba0906 --authenticationDatabase 認證數據庫 -c SQLToMongoDB01 -f 字段1,字段2,字段3,字段4,字段5 -o /data/mongodb_back/MongoDBToSQL.csv

Step 2 將從MongoDB中導出的CSV 文件上傳到 SQL Server 服務器上。

Step 3 將CSV 文件導入到SQL Server中

(此過程,不是本文章的重點,所以不再詳細說明,只指出關鍵步驟。)

選擇數據源,請選擇【平面文件源】

技術分享圖片

選擇源表和源視圖 【可以通過編輯映射,修改列名,修改字段類型,修改字段長度】

技術分享圖片

技術分享圖片

step 4 數據導出成功

技術分享圖片

檢查數據量和源表數據一致。

此部分 測試驗證OK!

註意事項

註意1: 因為 mongoimport 導入的文件默認是json 格式,所以csv 文件,一定要在命令中指明 --type csv

否則,就無法識別文件中的數據。報錯信息:

Failed: error processing document #1: invalid character ‘X‘ looking for beginning of value

技術分享圖片

(X代表文件中的第一個字符)

註意 2 : mongoimport 導入的csv文件,一定要執行 –headerline 參數,指明不導入第一行。csv格式的文件第一行為列名。

否則 ,提示一定要指明字段屬性,報錯信息:

error validating settings: must specify --fields, --fieldFile or --headerline to import this file type

註意 3 :CSV 文件的列數據中不可以包含“” (中文雙引號)。

否則,當導入此行數據時,提示錯誤信息

Failed: read error on entry #XXXX: line XXXX, column 110: bare " in non-quoted-field

技術分享圖片

註意 4: 如果數據中含有中文,需檢查導入後是否變成了亂碼。

為防止亂碼,需要將csv文檔改成utf-8的編碼方式即可。例如使用edit with notepad ++ 編輯器打開文件,另存為utf-8就可以了。

註意 5:MongoDB導出CSV格式一定要通過 –f 參數 指明字段名,負責報錯:

Failed: CSV mode requires a field list。

註意 6:MongoDB DB 數據模式自由,並且文檔可以內嵌,所以將MongoDB中的數據導入到SQL Server 比較困難,特別是含有中文語句時。

註意 7 : SQL Server 導出數據時,字段數據中不可以包含nchar(9)、nchar(32)、nchar(160) 等特殊字符,否則,在導出數據生成csv文件時報錯。

關於 MongoDB 與 SQL Server 通過本身自帶工具實現數據快速遷移 及 註意事項 的探究