中等量级的数据更新效率问题

lovingkiss 2019-08-17 04:37:30
千条左右的数据,保存在List中,如何批量Update到数据库中,效率会更高一些呢??

循环List,单条执行Update肯定是效率不会太快。
组合大一些的SQL执行好像也不是好主意。
...全文
255 13 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
13 条回复
切换为时间正序
请发表友善的回复…
发表回复
jx315425246 2019-08-19
  • 打赏
  • 举报
回复
List to Array , into Array
by_封爱 版主 2019-08-19
  • 打赏
  • 举报
回复
批量操作 首选肯定是SqlBulkCopy 不过你的数据源是list所以你还要转换成datatable 然后才能执行WriteToServer 既然这样还需要转换 我觉得还不如直接循环list执行sql语句呢. 比如一次执行10条 1000条就执行100次.. 不过也就几千条问题不大吧.. mysql insert ()()() 一秒轻松也插入一万条啊... 几千条数据我觉得都是瞬间的事,你不需要考虑效率..
lang3huan 2019-08-19
  • 打赏
  • 举报
回复
3楼的方案没问题, 如果是oracle 可以定义纯SQL插入,参数传入数组,速度很快
正怒月神 2019-08-19
  • 打赏
  • 举报
回复
如果转datatable就可以使用sqlbulkcopy。 但是List转datatable,也不快。但是千条数据好像也还可以吧
assky124 2019-08-19
  • 打赏
  • 举报
回复
SQL Server 还可以用表变量,用存储过程更新
github_36000833 2019-08-19
  • 打赏
  • 举报
回复
引用 12 楼 lovingkiss 的回复:
... 你们说的都是Insert的方案,我是考虑的Update的方案。。。
原理一样。 先批量insert到一个临时表, 然后Merge,(或调用你自己写的stored procedure)。 MERGE (Transact-SQL)参考和例子: https://docs.microsoft.com/zh-cn/sql/t-sql/statements/merge-transact-sql
lovingkiss 2019-08-19
  • 打赏
  • 举报
回复
引用 10 楼 by_封爱 的回复:
批量操作 首选肯定是SqlBulkCopy

不过你的数据源是list所以你还要转换成datatable 然后才能执行WriteToServer

既然这样还需要转换 我觉得还不如直接循环list执行sql语句呢.

比如一次执行10条 1000条就执行100次..

不过也就几千条问题不大吧..

mysql insert ()()() 一秒轻松也插入一万条啊...

几千条数据我觉得都是瞬间的事,你不需要考虑效率..


你们说的都是Insert的方案,我是考虑的Update的方案。。。
datafansbj 2019-08-19
  • 打赏
  • 举报
回复
这个问题其实比较经典,不是上面几位说的那么不堪。SQL逐次执行和批量执行,效率相差很多的(亲测),比较有效的方法是(SQLServer为例): 1、将数据保存到 DataTable 2、开启事务,定义表变量 3、使用 BulkCopy 将 Datatable 的数据插入到表变量 4、使用SQL 语句批量处理表变量的数据 5、提交事务 这个方法比循环逐条处理,速度会提供几倍甚至几十倍。 逐条处理的问题在于与数据库交互次数太多,每次交互的开销占了大头。
github_36000833 2019-08-18
  • 打赏
  • 举报
回复
引用 楼主 lovingkiss 的回复:
... 循环List,单条执行Update肯定是效率不会太快。 组合大一些的SQLzhuh执行好像也不是好主意。
单条执行有数据往返的延迟。 组合长SQL,有长度的限制。 用批量更新会有较好的效率。 如果你用mssql,可以用SqlBulkCopy。 如果你用oracle,可以用OracleBulkCopy等。 假设你的MSSQL下有一个Users表
CREATE TABLE [dbo].[Users] (
    [Id] INT NOT NULL,
    [Name] NCHAR(32) NULL
);
用SqlBulkCopy可以:

var connectionStr = "Data Source=...; Initial Catalog=...; Integrated Security=True;";

// 放1500条演示数据
var batchData = new DataTable("Users");
batchData.Columns.Add("Id");
batchData.Columns.Add("Name");
for(int i = 0; i < 1500; i++)
{
    batchData.Rows.Add(i, "name" + i);
}

using (var con = new SqlConnection(connectionStr))
{
    con.Open();
    var sbc = new SqlBulkCopy(con)
    {
        DestinationTableName = "dbo.Users",
        BatchSize = 1000,
    };
    sbc.WriteToServer(batchData);
}
wanghui0380 2019-08-18
  • 打赏
  • 举报
回复
在你们纠结这些问题的时候,应该去看php,go,python,java们是怎么玩的,人家的手段未必有你们好。 so,不必如此纠结。应该怎么办就怎么办,越纠结这些越没啥用处
wanghui0380 2019-08-18
  • 打赏
  • 举报
回复
看你这标题,我还以为老p同志又发新东西呢
冰川711 2019-08-17
  • 打赏
  • 举报
回复
千条数据 效率上 应该没多大 提升空间吧, 怎么存 相差应该不大
冰川711 2019-08-17
  • 打赏
  • 举报
回复
首先 千条数据 保存在List中 就不是正确的做法, 既然这么用了, 又要保存到数据库 就只能循环update了

111,094

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • AIGC Browser
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧