從資料庫匯出大量資料的處理方式

摘要： 需求：將商戶訂單或交易記錄匯出到檔案中，便於分析 檔案格式： Type 1: xlsx office 2003: 資料行不能超過 65535行 office 2007 及以後： 資料量可以保持在 1 百萬行左右 記憶體佔用嚴重，效率低...

需求：將商戶訂單或交易記錄匯出到檔案中，便於分析

檔案格式：

• Type 1: xlsx

office 2003: 資料行不能超過 65535行

office 2007 及以後： 資料量可以保持在 1 百萬行左右

記憶體佔用嚴重，效率低下

• Type 2: csv

效率高，格式簡單，對大數字需要進行特殊的處理以防止格式改變

office 軟體支援csv外掛

匯出方式：

• 一次性匯出

記憶體佔用嚴重，響應時間長

• 分批匯出

程式邏輯複雜，效率較高； 可以使用多協程的方式進行併發操作

展示方式：

• 直接從頁面下載

使用者需要等待，並可能長時間得不到響應，導致瀏覽器取消請求

• 通過生成url以郵件的方式進行傳送，並通過簡訊通知使用者

減少使用者無意義的空等待，利於非同步併發操作，同時可正常通知使用者結果和錯誤資訊提示