1. 程式人生 > >大檔案Excel,csv等快速匯入資料庫

大檔案Excel,csv等快速匯入資料庫

今天在向資料庫裡面匯入資料時,發現cvs檔案竟然有180M,用sqlserver自帶的匯入工具導了十幾分鍾,大概匯入了百分之二,而且會出現很多資料型別不匹配(還不知道什麼原因,後面把所有型別的長度都加長了),於是放棄了sqlserver自帶的匯入工具。

之後在網上找到sqlserver自帶的函式bulk用這個函式一共插入了近2000萬行資料,耗時328秒,還是比較快的

如果有比這更快的方法,可以評論留言告訴大家

bulk insert database_name.datatable_name
from 'file_path' --檔案的磁碟路徑,或者遠端路徑
with(
    FIELDTERMINATOR=',', --列的分隔符
    ROWTERMINATOR='0x0a' ,--行分隔符
    FIRSTROW=2 --有效資料從哪行開始
) ;

相關推薦

檔案Excelcsv快速匯入資料庫

今天在向資料庫裡面匯入資料時,發現cvs檔案竟然有180M,用sqlserver自帶的匯入工具導了十幾分鍾,大概匯入了百分之二,而且會出現很多資料型別不匹配(還不知道什麼原因,後面把所有型別的長度都

java 匯出 excel 最佳實踐java 檔案 excel 避免OOM(記憶體溢位) exce

產品需求 產品經理需要匯出一個頁面的所有的資訊到 EXCEL 檔案。 需求分析 對於 excel 匯出,是一個很常見的需求。 最常見的解決方案就是使用 poi 直接同步匯出一個 excel 檔案。 客戶體驗 & 服務效能 客戶體驗 如果匯出的檔案比較大,比如幾十萬條資料,同步匯

java 匯出 excel 最佳實踐java 檔案 excel 避免OOM(記憶體溢位) excel 工具框架

產品需求 產品經理需要匯出一個頁面的所有的資訊到 EXCEL 檔案。 需求分析 對於 excel 匯出,是一個很常見的需求。 最常見的解決方案就是使用 poi 直接同步匯出一個 excel 檔案。 客戶體驗 & 服務效能 客戶體驗 如果匯出的檔案比較大,比如幾十萬條資料,同步匯

thinkphp 3.2.2 匯入 以及 5萬條以上檔案Excel表格匯入

一、首先說一下自己以前用的方式:以前是採用PHPoffice類+import.class.php檔案匯入。程式碼如下: 1.html程式碼: <a href="#" style="margin-right: 10px" id="leading_in" data-t

php從爬蟲爬取的txt檔案按行讀取並寫入儲存到excelcsv

需求:採集攜程網酒店資訊步驟:    使用火車頭編寫採集規則並儲存到txt檔案 編寫php指令碼讀取txt檔案並按照規則儲存到csv程式碼:<?php /** * 讀取txt檔案,存入csv表格

讀取五種格式的配置檔案(xml(兩種方式)txtexcelcsvjson)

using Mono.Xml; using System.Security; using LitJson; using System.Collections.Generic; using System.IO; using Excel; using S

文件讀取草稿(excelcsv

string guid dwr lda clas isn urn datarow arraylist using NPOI.XSSF.UserModel; using System; using System.Collections.Generic; using Syst

8.3 路徑檔名路徑名稱空間名稱空間檔案長度檔名路徑名

https://docs.microsoft.com/zh-cn/windows/desktop/FileIO/naming-a-file 命名檔案、路徑和名稱空間 Windows 支援的所有的檔案系統都使用檔案和目錄的方式來訪問磁碟或者裝置上的內容。開發人員應該瞭解,windows API

python生成資料後快速匯入資料庫

1、使用python生成資料庫檔案內容# coding=utf-8import randomimport timedef create_user():    start = time.time()    count = 1000  # 一千萬條資料    beginId = 200010000    with

nginx傳輸檔案504gateway 問題解決

在傳輸大檔案時,需要增加其響應超時時間,因為後臺服務還在進行資料處理,如果到了65s,nginx會把連線斷開,丟擲一個504超時異常顯示在前臺頁面。這個時候我們需要改變其響應超時時間達到我們需要的效果。檔案配置如下: nginx.conf http { #連線存活超時時間,預設為

poi0020,檔案讀取有效解決記憶體溢位。

解決思路,一次載入少量檔案進記憶體,處理完成後,再載入下一批,不斷迴圈。難點:傳統的使用者模式讀取方式沒法完成,使用者模式是一次性將檔案內容全部載入到記憶體中;所以需要引入另外一種事件模式,事件模式是一次讀取一條進入檔案。 程式碼實現: 1、建立maven工程,匯入專

Android中解析讀取複雜wordexcelppt的方法

        前段時間在嘗試做一個Android裡的萬能播放器,能播放各種格式的軟體,其中就涉及到了最常用的office軟體。查閱了下資料,發現Android中最傳統的直接解析讀取word,excel的方法主要用了java裡第三方包,比如利用tm-extractors-0

linux下將一個目錄下的所有檔案拷貝到另一個檔案並把檔案拆分成原來的小檔案大小內容名字不變

經過四五天的編寫與除錯,初步完成了檔案操作工具的內容,以下是程式碼說明: 首先,我測試用的檔案在/home/xudong/mywork下,我的最終生成檔案是在這個路徑下,/home/xudong/work/resultfile.txt,分開後生成的小檔案在/home/xud

【shell】shell指令碼在檔案日誌中按照時間段快速搜尋日誌

問題描述: 在大流量線上服務中,日誌系統會產生數量龐大的日誌,動輒就是幾十G。在如此之大的檔案中快速搜尋日誌是運維人員經常遇見的問題。我們經常遇見的問題是查詢一段時間內的某些條日誌。比如,今天有一

記錄使用sparksql 寫txtcsv問題

由於是在內網工作無法截圖,只是文字記錄,見諒! 1.生成csv的方法 由於sparksql 1.5的版本導致很多函式是有bug的,經過多次嘗試以下是生成csv的正確方法。 mave加入一個特殊的j

java 技術文件 用java獲得wordexcelpdf文件的內容

很多人用java進行文件操作時經常會遇到一個問題,就是如何獲得word,excel,pdf等文件的內容?我研究了一下,在這裡總結一下抽取word,pdf的幾種方法。   1. 用jacob   其實jacob是一個bridage,連線java和com或者win32函式的一箇

iOS 檔案處理檔案的壓縮和解壓縮

5.0 大檔案的下載 (1)實現思路 邊接收資料邊寫檔案以解決記憶體越來越大的問題 (2)核心程式碼 //當接收到伺服器響應的時候呼叫,該方法只會呼叫一次 -(void)connection:(NSURLConnection *)connect

mysql查詢結果匯出檔案 excel 或者csv

很多時候領導會說,導一份excel或者csv給我看看,這個時候很多人,回去寫一個自動程式匯出資料,但是我們同樣可以通過sql 語句匯出excel或者csv 一條sql 語句,相對於一段複雜的程式碼,方便程度和執行效率要快的多。 1 mysql連線+將查詢結果輸出到檔案。在命

WebOffice線上編輯ActiveX外掛(Excelword相容IEFireFox,Chrome瀏覽器

關於點聚的weboffice ActiveX外掛的使用在IE下只需要安裝對應weboffice.ocx外掛即可實現線上文件編輯。對於非IE如谷歌、火狐瀏覽器來說就有些不同了的,如果想要相容谷歌和火狐需要採用標準的NPAPI的開發的外掛,具體的需要做以下幾個步驟: 1、請安

java 讀 檔案excel 記憶體溢位 解決

    Office軟體一直是一個誨譽參半的軟體,廣大普通計算機使用者用Office來滿足日常辦公需求,於是就產生了很多生產資料和文件,需要和企業單位的專用辦公系統對接,而Office的解析工作一直是程式設計師非常頭痛的問題,經常招致程式設計師的謾罵,也被譽為是微軟最爛