2. 程式人生 > >c#資料批量插入

c#資料批量插入

阿新 • • 發佈：2018-10-31

由於之前面試中經常被問到有關EF的資料批量插入問題，今天以Sqlserver資料庫為例，對.net中處理資料批量處理的方案進行了測試對比。

1.四種測試方案

（1）普通的EF資料批量插入：即呼叫DbSet中的Addrange方法

（2）不進行上下文跟蹤的EF資料批量插入：即關閉自呼叫的DetectChanges方法，不對每一個新增的實體進行掃描

（3）在EF中執行sql批量插入

（4）Ado.net執行sql批量插入

（5）利用sqlserver的Bcp功能作批量插入：程式碼中利用了SqlBulkCopy類

2.相關環境

（1）資料庫：sqlserver2014

（2）作業系統：win10

（3）cpu：i5-4210U

（4）記憶體：8G

 

3.測試

將以上5種方案，在資料量分別為100,1000,10000,100000的情況下進行測試，每種資料量級別測試3次

 

要插入的表如下所示：

 

3.1 普通的EF資料批量插入

用DbSet的AddRange方法作批量插入

 

3.2 不進行上下文跟蹤的EF資料批量插入

用DbSet的AddRange方法作批量插入，且上下文不對增加的實體作跟蹤，即程式碼中將context.Configuration.AutoDetectChangesEnabled設為false

 

3.3 在EF中執行sql批量插入

 

3.4 Ado.net執行sql批量插入

 

3.5 利用sqlserver的Bcp功能作批量插入

SqlBulkCopy類可對sqlserver資料庫作批量處理，其原理是利用了sqlserver的Bcp功能，但需要將資料先寫入到DataTable

 

 4.測試結果

  100條 1000條 10000條 100000條
EF普通批量插入 331,41,51 1034,459,456 5200,5090,4921 55396,56479,58018
不進行上下文跟蹤的EF資料批量插入 282,44,55 817,1152,547 6022,5523,5843 51465,52590,52037
EF中執行sql批量插入 7,4,4 52,32,45 811,388,380 插不進（sqlserver單次sql插入有限制）
Ado.net執行sql批量插入 75,19,49 204,225,218 2177,2678,2387 插不進（sqlserver單次sql插入有限制）
SqlBulkCopy批量插入 26,3,3 8,7,10 120,114,97 820,596,368

 

*注：單位為毫秒

5.結論

（1）利用sqlBulkCopy來對sqlserver作資料批量操作要明顯好於其它四種方式，隨著資料量增加效果越明顯

（2）資料量在1萬以內，用EF來做資料插入，其效能基本是能接受的，可以從EF中執行sql批量插入這種方式中看出，所以說ef在正常的業務開發中，資料插入基本不存在效能問題

（3）很奇怪的是EF中執行sql批量插入 這種方式明顯好於原生的Ado.net執行sql批量插入這種方式，看來ef還是比較強大的

相關推薦

c#資料批量插入

由於之前面試中經常被問到有關EF的資料批量插入問題，今天以Sqlserver資料庫為例，對.net中處理資料批量處理的方案進行了測試對比。 1.四種測試方案 （1）普通的EF資料批量插入：即呼叫DbSet中的Addrange方法 （2）不進行上下文跟蹤的EF資料批量插入：即關閉自呼叫的DetectCha

C# 資料批量插入及更新

          *table為更新表名或插入資料表    SqlConnection conn = new SqlConnection(sqlConStr);             SqlCommand comm = conn.CreateCommand();    

C# 幾種資料庫的大資料批量插入 C# 幾種資料庫的大資料批量插入

C# 幾種資料庫的大資料批量插入   轉載：http://www.cnblogs.com/luluping/archive/2012/08/09/2629515.html 在之前只知道SqlServer支援資料批量插入，殊不知道Oracle、SQLite和MySql也是

C#實現json物件資料批量插入資料庫

最近在做客戶的一個專案，其中有一個小地方是用JQgrid表格載入從介面讀出的資料，之後提供多選功能，最後再將選中的資料再匯入到另一個數據庫中。 熟悉JQgrid的同志們都知道，JQgrid獲取選中行的資料相當簡單，唯獨要注意的是，選中的資料是json物件格式的，需要傳到

使用jdbc向資料庫中注入大量資料（以10W條資料批量插入為例）

例項：10w條資料的插入(批量插入) import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; public class HomeWork02 { //預

mysql測試資料批量插入

簡介 場景1：測試sql伺服器效能時需要單表100萬以上資料時 場景2：業務測試資料1000個賬號每個賬號有5個商品 當我們遇到以上場景時，如何快速造資料？ 原理 利用select的交叉連線(cross join)。如果不帶WHERE條件子句，它將會返回被連

Django 使用ORM將資料批量插入資料庫之bulk_create()

在Django中需要向資料庫中插入多條資料（list）。使用如下方法，每次save()的時候都會訪問一次資料庫。導致效能問題 for i in resultlist: p = Account(name=i) p.save() 1 2 3 4

將其他庫中的表的資料批量插入新增到另一個庫的表中

jkdb.factory中的jkdb為資料庫，factory為表名 兩張表的欄位和欄位型別需要一致。 INSERT INTO jkdb.factory SELECT id, name, sex

MSSQL資料批量插入優化詳細

public void ThirdWay() { Stopwatch sw = new Stopwatch(); Stopwatch sw1 = new Stopwatch(); DataTable dt = GetTa

mybatis資料批量插入

首先看看批處理的mapper.xml檔案 <insert id="insertbatch" parameterType="java.util.List"> <selectKey keyProperty="fetchTime" order="BEFO

python消費kafka資料批量插入到es

1、es的批量插入 這是為了方便後期配置的更改，把配置資訊放在logging.conf中 用elasticsearch來實現批量操作，先安裝依賴包，sudo pip install Elasticsearch2 from elasticsear

Oracle資料庫學習小結（三）---大資料批量插入bulkcopy

　　  上篇文章中說到要跟大家聊聊bulkcopy這個的用法，今天我們就來了解一下這個用法。在之前我們寫程式的時候如果遇到需要往資料庫中插入資料你會怎麼辦？可能第一反應是加個迴圈一條一條插入唄，如果我

C#使用SqlDataAdapter 實現資料的批量插入和更新

近日由於專案要求在需要實現中型資料的批量插入和更新，晚上無聊，在網上看到看到這樣的一個實現方法，特摘抄過來，以便以後可能用到參考。 一.資料的插入 DateTime begin = DateTime.Now; string connectionString = ......; using(Sql

c#中往mysql裡批量插入上萬條資料

前面文章說採集了很多資料，要存入mysql資料庫。之所以選擇mysql資料庫，原因只不過是mysql很方便安裝應用範圍也廣，又小，也挺好用。呵呵 我仍然在csdn詢問，http://bbs.csdn.net/topics/390357952?page=1#post-3935

在C#中完成海量資料的批量插入和更新

對於海量資料的插入和更新,ADO.NET確實不如JDBC做到好,JDBC有統一的模型來進行批操作.使用起來非常方便: PreparedStatement ps = conn.prepareStatement("insert or update arg1,args2....")

C#批量插入資料SqlBulkCopy

例子： SqlConnection sqlCon = new SqlConnection(sqlConStr); sqlCon.Open(); SqlTransaction sqlTran = sql

c#批量插入資料到資料庫【支援事務操作】

#region   批量插入資料到資料庫             DateTime startTime;              private bool SqlBulkCopy(DataTable dt)             {                 try

C++完畢Oracle存儲過程批量插入(二)

con 地址 tco ref path ava nload 能夠 table 上篇文章簡單的介紹了一下oracle參數是Object類型的數據庫存儲過程，以及JAVA使用JDBC去調用該類的存儲過程的方法。可是我須要的是C++下的方案。使用Poco庫未發現不論什麽能夠調

C#批量插入數據到Sqlserver中的四種方式 - 轉

大數 sqlserve 情況下 時間 void tor schema ase ble 先創建一個用來測試的數據庫和表，為了讓插入數據更快，表中主鍵采用的是GUID，表中沒有創建任何索引。GUID必然是比自增長要快的，因為你生成一個GUID算法所花的時間肯定比你從數據表中重新

C#中使用SqlBulkCopy的批量插入和OracleBulkCopy的批量插入

strings 技術 ava ext service() catch service 目標表 num 1、首先我們做一下準備工作，在sql server和oracle分別建立一個Student表 oracle中 --創建Student表 -- create tab