中等量级的数据更新效率问题

lovingkiss 2019-08-17 04:37:30

千条左右的数据，保存在List中，如何批量Update到数据库中，效率会更高一些呢？？

循环List，单条执行Update肯定是效率不会太快。
组合大一些的SQL执行好像也不是好主意。

...全文

314 13 打赏收藏转发到动态举报

写回复

用AI写文章

13 条回复

切换为时间正序

请发表友善的回复…

发表回复

jx315425246 2019-08-19

打赏
举报

List to Array , into Array

by_封爱版主 2019-08-19

打赏
举报

批量操作首选肯定是SqlBulkCopy 不过你的数据源是list所以你还要转换成datatable 然后才能执行WriteToServer 既然这样还需要转换我觉得还不如直接循环list执行sql语句呢. 比如一次执行10条 1000条就执行100次.. 不过也就几千条问题不大吧.. mysql insert ()()() 一秒轻松也插入一万条啊... 几千条数据我觉得都是瞬间的事,你不需要考虑效率..

lang3huan 2019-08-19

打赏
举报

3楼的方案没问题，如果是oracle 可以定义纯SQL插入，参数传入数组，速度很快

正怒月神 2019-08-19

打赏
举报

如果转datatable就可以使用sqlbulkcopy。但是List转datatable，也不快。但是千条数据好像也还可以吧

assky124 2019-08-19

打赏
举报

SQL Server 还可以用表变量，用存储过程更新

github_36000833 2019-08-19

打赏
举报

引用 12 楼 lovingkiss 的回复:

... 你们说的都是Insert的方案，我是考虑的Update的方案。。。

原理一样。先批量insert到一个临时表，然后Merge，（或调用你自己写的stored procedure）。 MERGE (Transact-SQL)参考和例子： https://docs.microsoft.com/zh-cn/sql/t-sql/statements/merge-transact-sql

lovingkiss 2019-08-19

打赏
举报

引用 10 楼 by_封爱的回复:

批量操作首选肯定是SqlBulkCopy

不过你的数据源是list所以你还要转换成datatable 然后才能执行WriteToServer

既然这样还需要转换我觉得还不如直接循环list执行sql语句呢.

比如一次执行10条 1000条就执行100次..

不过也就几千条问题不大吧..

mysql insert ()()() 一秒轻松也插入一万条啊...

几千条数据我觉得都是瞬间的事,你不需要考虑效率..

你们说的都是Insert的方案，我是考虑的Update的方案。。。

datafansbj 2019-08-19

打赏
举报

这个问题其实比较经典，不是上面几位说的那么不堪。SQL逐次执行和批量执行，效率相差很多的（亲测），比较有效的方法是（SQLServer为例）： 1、将数据保存到 DataTable 2、开启事务，定义表变量 3、使用 BulkCopy 将 Datatable 的数据插入到表变量 4、使用SQL 语句批量处理表变量的数据 5、提交事务这个方法比循环逐条处理，速度会提供几倍甚至几十倍。逐条处理的问题在于与数据库交互次数太多，每次交互的开销占了大头。

github_36000833 2019-08-18

打赏
举报

引用楼主 lovingkiss 的回复:

... 循环List，单条执行Update肯定是效率不会太快。组合大一些的SQLzhuh执行好像也不是好主意。

单条执行有数据往返的延迟。组合长SQL，有长度的限制。用批量更新会有较好的效率。如果你用mssql，可以用SqlBulkCopy。如果你用oracle，可以用OracleBulkCopy等。假设你的MSSQL下有一个Users表

CREATE TABLE [dbo].[Users] (
    [Id] INT NOT NULL,
    [Name] NCHAR(32) NULL
);

用SqlBulkCopy可以：


var connectionStr = "Data Source=...; Initial Catalog=...; Integrated Security=True;";

// 放1500条演示数据
var batchData = new DataTable("Users");
batchData.Columns.Add("Id");
batchData.Columns.Add("Name");
for(int i = 0; i < 1500; i++)
{
    batchData.Rows.Add(i, "name" + i);
}

using (var con = new SqlConnection(connectionStr))
{
    con.Open();
    var sbc = new SqlBulkCopy(con)
    {
        DestinationTableName = "dbo.Users",
        BatchSize = 1000,
    };
    sbc.WriteToServer(batchData);
}