c#數據批量插入

阿新 • • 發佈：2018-10-22

image 比較每一個分享結果 datatable order 增加性能問題

由於之前面試中經常被問到有關EF的數據批量插入問題，今天以Sqlserver數據庫為例，對.net中處理數據批量處理的方案進行了測試對比。

1.四種測試方案

（1）普通的EF數據批量插入：即調用DbSet中的Addrange方法

（2）不進行上下文跟蹤的EF數據批量插入：即關閉自調用的DetectChanges方法，不對每一個添加的實體進行掃描

（3）在EF中執行sql批量插入

（4）Ado.net執行sql批量插入

（5）利用sqlserver的Bcp功能作批量插入：代碼中利用了SqlBulkCopy類

2.相關環境

（1）數據庫：sqlserver2014

（2）操作系統：win10

（3）cpu：i5-4210U

（4）內存：8G

3.測試

將以上5種方案，在數據量分別為100,1000,10000,100000的情況下進行測試，每種數據量級別測試3次

要插入的表如下所示：

技術分享圖片

3.1 普通的EF數據批量插入

用DbSet的AddRange方法作批量插入

技術分享圖片

3.2 不進行上下文跟蹤的EF數據批量插入

用DbSet的AddRange方法作批量插入，且上下文不對增加的實體作跟蹤，即代碼中將context.Configuration.AutoDetectChangesEnabled設為false

技術分享圖片

3.3 在EF中執行sql批量插入

技術分享圖片

3.4 Ado.net執行sql批量插入

技術分享圖片

3.5 利用sqlserver的Bcp功能作批量插入

SqlBulkCopy類可對sqlserver數據庫作批量處理，其原理是利用了sqlserver的Bcp功能，但需要將數據先寫入到DataTable

技術分享圖片

4.測試結果

	100條	1000條	10000條	100000條
EF普通批量插入	331,41,51	1034,459,456	5200,5090,4921	55396,56479,58018
不進行上下文跟蹤的EF數據批量插入	282,44,55	817,1152,547	6022,5523,5843	51465,52590,52037
EF中執行sql批量插入	7,4,4	52,32,45	811,388,380	插不進（sqlserver單次sql插入有限制）
Ado.net執行sql批量插入	75,19,49	204,225,218	2177,2678,2387	插不進（sqlserver單次sql插入有限制）
SqlBulkCopy批量插入	26,3,3	8,7,10	120,114,97	820,596,368

*註：單位為毫秒

5.結論

（1）利用sqlBulkCopy來對sqlserver作數據批量操作要明顯好於其它四種方式，隨著數據量增加效果越明顯

（2）數據量在1萬以內，用EF來做數據插入，其性能基本是能接受的，可以從EF中執行sql批量插入這種方式中看出，所以說ef在正常的業務開發中，數據插入基本不存在性能問題

（3）很奇怪的是EF中執行sql批量插入 這種方式明顯好於原生的Ado.net執行sql批量插入這種方式，看來ef還是比較強大的

c#數據批量插入

image 比較每一個分享結果 datatable order 增加性能問題由於之前面試中經常被問到有關EF的數據批量插入問題，今天以Sqlserver數據庫為例，對.net中處理數據批量處理的方案進行了測試對比。 1.四種測試方案（1）普通的EF數據批量插入：

navicat mysql導出數據批量插入的形式

class .com div alt 右鍵年齡分享 color png 這裏介紹的是mysql 相同服務器類型數據傳輸的高級設置選中數據庫後右鍵“ 轉儲SQL文件”默認導出的記錄格式是一條條的，采用的是”完整插入語句”，格式如下 INSERT INTO `用戶` (

mysql數據庫表插入單條數據/批量插入數據

mysql ice insert values utf 顯示 into creat timestamp 1.創建表格 reate table trade( id int(4) not null primary key auto_increment,

C數據結構排序算法——直接插入排序法用法總結（轉http://blog.csdn.net/lg1259156776/）

所有可能 app 必須操作 itl 直接排序 works 技術分享聲明：引用請註明出處http://blog.csdn.net/lg1259156776/ 排序相關的的基本概念排序：將一組雜亂無章的數據按一定的規律順次排列起來。數據表( data list)

MyBatis中批量插入數據對插入記錄數的限制

技術分享計算分享圖片作者性能探討 info itl bubuko 《基於Mybatis框架的批量數據插入的性能問題的探討》（作者：魏靜敏劉歡傑來源：《計算機光盤軟件與應用》 2013 年第 19 期）中提到批量插入的記錄數不能超過1000條，實測可以插入超過1

C#數據緩存介紹及Caching通用幫助類整理

能夠 eric article for generic arr stat ati cti C#緩存主要是為了提高數據的讀取速度。由於server和應用client之間存在著流量的瓶頸，所以讀取大容量數據時，使用緩存來直接為client服務，能夠降低client與serv

C#數據類型

ring console () write single datetime 常用一個 true 基本數據類型包括： string System.String Unicode字符序列 decimal Sys

SQL server觸發器、存儲過程操作遠程數據庫插入數據,解決服務器已存在的問題

定義 ims val rom 記錄插入記錄其它 pre 項目近期弄了一個小項目，也不是非常復雜，須要將一個數據庫的一些數據備份到另外一個庫。不是本地，可能是網絡上其它的數據庫。想了一下，用了存儲過程和觸發器。也不是非常復雜，首先我須要操作遠程數據庫，於是寫了一個存

關於數據庫優化3——在數據庫插入、更新大量數據的性能優化

alt 這樣的們的比較重新操作做了定時任務場景　　在真實的業務場景中，我們肯定是遇到過有時候需要大批量的數據要進行入庫或者是更新。這時候我們在執行這種插入，或者是更新的時候肯定會遇到數據庫效率的問題，我們首先能想到的是讓事物盡量保持一致，統一去提交事務，這樣

SQL SERVER C#數據庫操作類

dbhelper dbn ati c# als 實現一個 copy apps using System;using System.Collections;using System.Collections.Specialized;using System.Data;usin

【C++/數據結構】單鏈表的基本操作

clear default als troy pub 插入 else fonts pac #pragma once #ifndef _CLIST_H_ #define _CLIST_H_ #include <iostream> #include <

C#數據沒初始化，使用會報錯，可以初始化null

rgs send protect null new 報錯 tar sender ted protected void Page_Load(object sender, EventArgs e) { 　　string[] A; 　　　　if (B== 0)

mybatis連接mysql數據庫插入中文亂碼

資料中文亂碼後來例如 tar character 數據返回語句重建對於MySQL數據庫的亂碼問題，有兩中情況： 1. mysql數據庫編碼問題（建庫時設定）。 2. 連接mysql數據庫的url編碼設置問題。對於第一個問題，目前個人發現只能通過重新建庫解決

SqlServer表和excel數據批量復制方法

auto 方法 log 技術 exce 右鍵表數據數據復制 -a SqlServer表和excel數據批量復制方法一、SqlServer表數據復制到excel方法： 1.新建查詢，用sql語句把表數據讀出來 2.然後，選擇數據，右鍵“復制”（如果需要表字段名稱，則點擊

C# 數據庫連接字符串拼接

word nec 連接字符串 for class database mat c# pass string connectionString = string.Format(@"Data Source={0};User ID={1};Password={2};Initia

mysql使用存儲過程&函數實現批量插入

tar max commit mysq like until code 插入數據 call 寫這邊文章的目的，是想結合mysql 存儲過程+函數完成一個批量刪除的功能吧...正好也好加深下對procedure和function的熟練操作吧...廢話不多說，我就直接上表結構啦

C#數據庫連接問題

box img () 建立連接 pwd provide 服務器名稱連接無法打開　　最近在看C#，今天下午剛開始接觸C#的數據庫連接，SQL Server2008，問題如圖：在與 SQL Server 建立連接時出現與網絡相關的或特定於實例的錯誤。未找到或無法訪問服務器

php 往數據庫插入數據腳本

mysql腳本 php shell php 往數據庫插入數據腳本<?phpadd_user_pwd();/** * 添加密碼賬戶到數據庫 */function add_user_pwd() { /* 連接mysql */ $type = ‘mysql‘; $dbname = ‘j

C++ 數據封裝和抽象

prot 調整避免接口分離實例分離頻道不變 ron C++ 數據抽象數據抽象是指，只向外界提供關鍵信息，並隱藏其後臺的實現細節，即只表現必要的信息而不呈現細節。數據抽象是一種依賴於接口和實現分離的編程（設計）技術。讓我們舉一個現實生活中的真實例子，比

使用phpExcel將數據批量導出

eat attach 重命名 prop file title set ade 當前 if(isset($_POST[‘export‘]) && $_POST[‘export‘] == ‘導出所選數據‘) { //此處為多選框已勾選的數據 $

c#數據批量插入

相關推薦