社区
C#
帖子详情
EF 大批量添加数据的问题
zjlahbf
2014-02-18 05:20:46
可能需要一次性创建15000+的条记录。
db.savechange 已经满足不了我了。
至于sqlbulk(应该是这样打的吧),
我们系统也算是层层封装的比较好的。用他还会影响我们之前的一些想法
但是现在一次添加15000+的记录 而且要较快。 这个是硬需求。
求思路!!!
...全文
458
8
打赏
收藏
EF 大批量添加数据的问题
可能需要一次性创建15000+的条记录。 db.savechange 已经满足不了我了。 至于sqlbulk(应该是这样打的吧), 我们系统也算是层层封装的比较好的。用他还会影响我们之前的一些想法 但是现在一次添加15000+的记录 而且要较快。 这个是硬需求。 求思路!!!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
8 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
zjlahbf
2014-02-20
打赏
举报
回复
已经解决了. 我在苦苦思索解决办法的时候。 回过头想了一下,会不会是我做法有问题。 于是解决了。 虽然修改的比较多。
娃都会打酱油了
2014-02-19
打赏
举报
回复
SqlbulkCopy这是一种方式,这个只是基于Dal一层,跟系统封装度有多高无关吧,另外这个会瞬间占用数据库大量IO 另外2008开始MSSQL又多了一种新的数据库批量插入方式,具体名字叫什么忘记了。。。。似乎这种方式比SqlbulkCopy要温和些
zjlahbf
2014-02-19
打赏
举报
回复
求思路啊!。
IE11下面经常卡到爆
2014-02-19
打赏
举报
回复
如果是表本身就比较大,还要注意一下数据表的碎片整理,碎片少,插入时跳的页就少,跟硬盘一样的道理
IE11下面经常卡到爆
2014-02-19
打赏
举报
回复
之前用SqlbulkCopy处理12000多的纪录,从txt解析到入库,1秒多点的样子
skcry
2014-02-19
打赏
举报
回复
SqlbulkCopy 这个还是比较快的
阿三
2014-02-19
打赏
举报
回复
数据库是什么?如果是sqlserver可以先存成文本保存在本地,然后通过bc(类似DTS好像叫BC)来插入,oracle可以用sqlloader方式,特别快。
Andy__Huang
2014-02-19
打赏
举报
回复
EF处理这样的数据好象没什么好方法,直接用sql语句倒是有好多方法
EF
实现
大批量
数据
库插入操作
**
EF
实现
大批量
数据
库插入操作最近项目需求需要往SQL Service
数据
库中创建表来插入
大批量
数据
,
数据
量为100万左右,因此需要考虑插入效率的
问题
。根据需求,主要采用
EF
6.0(EntityFramework)+SQL Service Express2014来实现。 对于如此庞大的
数据
如果一条条向
数据
库中
添加
则会给
数据
库造成很大负担,同时
EF
所提供的函数接口无法高效插入如此庞大的
数据
。例如我们
EF
Core 批量写入
数据
使用整理_
EF
Core批量插入
数据
(一)
一、
EF
Core 批量
添加
数据
问题
详解 AddRange()
问题
整理: 1.对于批量写入
数据
,每次几万条情况 使用 Add() 方法不合理 2.使用AddRange() 每次批量写入
数据
也要有个数限制,不然也会异常报错 3.批量写入
数据
,如果Sqlserver 日志文件或者磁盘空间占满也会抛出异常。 4.批量写入需要控制对象的字符数量,字符数量大的写入慢没太多优化空间,看你的磁盘和硬件情况了。 批量
数据
写入解决方案: 1.写入每条
数据
字符量尽可能小 2.分段写入,避免内存不足异常
EF
大批量
插入
数据
的性能调优思路
最近碰到一个需求:需要从XML格式的文本中解析
数据
,并写入
数据
库表中。遇到这种情况自然是
EF
+WinForm开干,写完程序之后跑了一下,发现速度有点慢,因为
数据
急着要,所以就这么拿去用了。最后实际运行的速度大概是2W条
数据
10分钟左右。 后面仔细想了想,性能不应该这么低才对。首先想到会不会是多线程的
问题
,于是看了下资源监视器,所有核心都是在跑的。 (程序运行时的CPU占用) 然后在代码里...
ef
批量
添加
数据
引入 Z.EntityFramework.Extensions
ef
批量
添加
数据
引入 Z.EntityFramework.Extensions
.NET5必备工具——
EF
大
数据
批量处理----Bulk系列
之前做项目的时候,如果在
大批量
操作
数据
时,性能不好.因为在框架中使用了EntityFramework,于是就搜索到某著名插件,Z系列。 1.安装 然后在类里面
添加
引用之后,使用DbContext就可以直接点出来。 2.博客园有人做过对比试验 我们直接拿
数据
说话吧.
EF
传统做法: 1000条插入,6秒,10000条,117秒,100000条,> 2分钟,已经没耐心了. 使用插件: 10W条,3.59秒;20W条:6秒时间 快了大约20倍不止. 3.快的原理 一句话:整合和
数据
库的交互 E.
C#
110,538
社区成员
642,577
社区内容
发帖
与我相关
我的任务
C#
.NET技术 C#
复制链接
扫一扫
分享
社区描述
.NET技术 C#
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
让您成为最强悍的C#开发者
试试用AI创作助手写篇文章吧
+ 用AI写文章