1. 程式人生 > >海量資料插入資料庫效率對比測試 ---ADO.NET下SqlBulkCopy()對比LINQ 下InsertAllOnSubmit()

海量資料插入資料庫效率對比測試 ---ADO.NET下SqlBulkCopy()對比LINQ 下InsertAllOnSubmit()

摘要:使用.NET相關技術向資料庫中插入海量資料是常用操作。本文對比ADO.NET和LINQ兩種技術,分別使用SqlBulkCopy()和InsertAllOnSubmit()方法進行操作。得出結論:相同插入工作量(1w條資料)插入效率相差200倍之巨!

測試場景:

準備兩個資料庫TestDb和TestDb2,有表:T_Users。表結構如下圖所示:


SqlBulkCopy()插入方法如下:

private static Stopwatch InsertUsingSqlBulkCopy(List<UserInMemory> list)
        {
            Stopwatch stopWatch = new Stopwatch();
            stopWatch.Start();
            DataTable dt = new DataTable();
            dt.Columns.Add("ID");
            dt.Columns.Add("UserName");
            for (int i = 0; i < list.Count; i++)
            {
                DataRow row = dt.NewRow();
                row["ID"] = list[i].ID;
                row["UserName"] = list[i].UserName;
                dt.Rows.Add(row);
            }
            using (SqlConnection con = new SqlConnection(connStr2))
            {
                con.Open();
                using (SqlBulkCopy bulkCopy = new SqlBulkCopy(con))
                {
                    try
                    {
                        bulkCopy.DestinationTableName = "dbo.T_UserName";
                        bulkCopy.ColumnMappings.Add("ID", "ID");
                        bulkCopy.ColumnMappings.Add("UserName", "UserName");
                        bulkCopy.WriteToServer(dt);
                    }
                    catch (Exception ex)
                    {
                        Console.WriteLine(ex.ToString());
                    }
                    finally { con.Close(); }
                }
            }
            stopWatch.Stop();
            return stopWatch;
        }

LINQ插入方法如下所示:
private static Stopwatch InsertUsingLINQ(List<T_User> _list)
        {
            Stopwatch stopWatch = new Stopwatch();
            stopWatch.Start();
            DataClasses1DataContext dataContext = new DataClasses1DataContext();
            dataContext.T_Users.InsertAllOnSubmit(_list);
            dataContext.SubmitChanges();
            stopWatch.Stop();
            return stopWatch;
        }

使用上述程式碼分別匯入1萬條User資料進入資料庫。

得到結果如下圖所示:


相同插入工作量(1w條資料)前提下,結論:

1 ADO.NET下SqlBulkCopy()方法是LINQ TO SQL下InsertAllOnSubmit()方法插入效率相差266倍之巨!

2  LINQ使用便捷、程式碼簡短、學習成本低,語言表達優雅;但是,如果對效率要求較高的海量資料相關操作優先推薦使用ADO.NET方法。

注意事項:

如果在匯入資料過程中提示“超時相關操作”,請在WriteToServer()方法前加入如下程式碼:

                        bulkCopy.BulkCopyTimeout = 3600;
                        bulkCopy.BatchSize = 3000;
                        bulkCopy.WriteToServer(dt);
BatchSize為每次傳輸數量的設定。

BulkCopyTimeout為超時上限秒數。

相關原始碼下載地址:http://download.csdn.net/detail/fanrong1985/8130953