社区
疑难问题
帖子详情
SQL Server 2005 导入20万条数据更新生成了6G的日志
zaiai2003
2012-04-17 11:49:30
我们的业务系统需要导入外部系统的业务数据,这个业务数据达到50万条之多,每次可能需要导入多次。我发现有的时候,经过接口处理的过程,日志文件增长很大。例如:这几次都是增长到了6G,后面做一些操作增长都不是很大。
接口的功能通过java进行了封装,引用了事务机制。
如此的业务要求,如何尽可能减少日志,大数量的数据导入和处理,一般应该如何处理,提高效率。
...全文
134
6
打赏
收藏
SQL Server 2005 导入20万条数据更新生成了6G的日志
我们的业务系统需要导入外部系统的业务数据,这个业务数据达到50万条之多,每次可能需要导入多次。我发现有的时候,经过接口处理的过程,日志文件增长很大。例如:这几次都是增长到了6G,后面做一些操作增长都不是很大。 接口的功能通过java进行了封装,引用了事务机制。 如此的业务要求,如何尽可能减少日志,大数量的数据导入和处理,一般应该如何处理,提高效率。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
lg314
2012-04-18
打赏
举报
回复
50万条数据结果可能是更新删除很多次得到的。及时备份日志文件,然后确认一下数据库日志增长的方式。
jun_0214
2012-04-18
打赏
举报
回复
如果是表中含有text ,image,xml三种字段之一,则完全有可能
Mr_Nice
2012-04-17
打赏
举报
回复
[Quote=引用 2 楼 的回复:]
导数前,将你的数据库设置成简单模式或 大容量日志模式,再进行导数据。导完将数据库 设置为简单模式,收缩日志。最后改为 完整或大容量日志模式。
要想快效率高,建议用 SQLSERVER自带的 导入导出 工具执行。该工具支持多格式多文件类型导入导出数据。操作起来也非常方便。可以说是傻瓜式的操作模式。
[/Quote]
此操作有风险,一旦数据库在此时出问题。无法进行时点还原操作。
大数据量的操作,修改恢复模式可以降低日志量。另外,大数据量的操作一般都分解为小批量的处理。
用以减少锁等问题的发生。
再就是操作之前,如果目标表有索引,触发器等,建议保存脚本,删除。然后进行数据操作后,再建上。
等等,方法很多,主要是要考虑资源占用。
Felixzhaowenzhong
2012-04-17
打赏
举报
回复
导数前,将你的数据库设置成简单模式或 大容量日志模式,再进行导数据。导完将数据库 设置为简单模式,收缩日志。最后改为 完整或大容量日志模式。
要想快效率高,建议用 SQLSERVER自带的 导入导出 工具执行。该工具支持多格式多文件类型导入导出数据。操作起来也非常方便。可以说是傻瓜式的操作模式。
zaiai2003
2012-04-17
打赏
举报
回复
好好顶顶!需要高手指导。
zaiai2003
2012-04-17
打赏
举报
回复
感觉产生了这么大的日志,有些不正常。
使用
sql
load批量
导入
数据
入库工作采用
sql
load
导入
,每分钟可
导入
几十
万条
数据
,
sql
load号称可以每小时
导入
100G的
数据
文件。 从开始分析到完成入库我用了25分钟,1.1G的明细文件,370万的
数据
。主要分析时间用了差不多
20
多分钟,入库不...
sql
server
常用命令
SQL
Server
中4个系统
数据
库,Master、Model、Msdb、Tempdb。 (1)Master
数据
库是
SQL
Server
系统最重要的
数据
库,它记录了
SQL
...在
SQL
Server
20
05
中,系统对象不再存储在 master
数据
库中,而是存储在 Resource
My
SQL
数据
快速导出
导入
线上
数据
1.6T,导出的
SQL
文件约745G。第一次使用官方工具my
sql
dump导出,导出时间消费5.5小时,再次
导入
的时候就蛋痛了,因为是单线程的方式,
导入
时间远远大于预期时间,可能要达到四五天的样子,接受不了,耗时周期...
BCP导出
导入
大容量
数据
实践
SERVER
提供多种不同的
数据
导出
导入
的工具,也可以编写
SQL
脚本,使用存储过程,
生成
所需的
数据
文件,甚至可以
生成
包含
SQL
语句和
数据
的脚本文 件。各有优缺点,以适用不同的需求。下面介绍大容量
数据
导出
导入
的利器...
SQL
Server
DBA 六十问
问题来自 ... https://www.cnblogs.com/riont/p/3909622.html 1. char、varchar、nvarchar之间的区别(包括用途和空间占用);xml类型查找某个节点的
数据
有哪些方法,哪个效率高;使用存储过程和使用T-
SQL
查询...
疑难问题
22,209
社区成员
121,730
社区内容
发帖
与我相关
我的任务
疑难问题
MS-SQL Server 疑难问题
复制链接
扫一扫
分享
社区描述
MS-SQL Server 疑难问题
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章