SQL Server 2005 导入20万条数据更新生成了6G的日志

zaiai2003 2012-04-17 11:49:30
我们的业务系统需要导入外部系统的业务数据,这个业务数据达到50万条之多,每次可能需要导入多次。我发现有的时候,经过接口处理的过程,日志文件增长很大。例如:这几次都是增长到了6G,后面做一些操作增长都不是很大。
接口的功能通过java进行了封装,引用了事务机制。

如此的业务要求,如何尽可能减少日志,大数量的数据导入和处理,一般应该如何处理,提高效率。
...全文
134 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
lg314 2012-04-18
  • 打赏
  • 举报
回复
50万条数据结果可能是更新删除很多次得到的。及时备份日志文件,然后确认一下数据库日志增长的方式。
jun_0214 2012-04-18
  • 打赏
  • 举报
回复
如果是表中含有text ,image,xml三种字段之一,则完全有可能
Mr_Nice 2012-04-17
  • 打赏
  • 举报
回复
[Quote=引用 2 楼 的回复:]

导数前,将你的数据库设置成简单模式或 大容量日志模式,再进行导数据。导完将数据库 设置为简单模式,收缩日志。最后改为 完整或大容量日志模式。

要想快效率高,建议用 SQLSERVER自带的 导入导出 工具执行。该工具支持多格式多文件类型导入导出数据。操作起来也非常方便。可以说是傻瓜式的操作模式。
[/Quote]

此操作有风险,一旦数据库在此时出问题。无法进行时点还原操作。


大数据量的操作,修改恢复模式可以降低日志量。另外,大数据量的操作一般都分解为小批量的处理。
用以减少锁等问题的发生。
再就是操作之前,如果目标表有索引,触发器等,建议保存脚本,删除。然后进行数据操作后,再建上。
等等,方法很多,主要是要考虑资源占用。

Felixzhaowenzhong 2012-04-17
  • 打赏
  • 举报
回复
导数前,将你的数据库设置成简单模式或 大容量日志模式,再进行导数据。导完将数据库 设置为简单模式,收缩日志。最后改为 完整或大容量日志模式。

要想快效率高,建议用 SQLSERVER自带的 导入导出 工具执行。该工具支持多格式多文件类型导入导出数据。操作起来也非常方便。可以说是傻瓜式的操作模式。
zaiai2003 2012-04-17
  • 打赏
  • 举报
回复
好好顶顶!需要高手指导。
zaiai2003 2012-04-17
  • 打赏
  • 举报
回复
感觉产生了这么大的日志,有些不正常。

22,209

社区成员

发帖
与我相关
我的任务
社区描述
MS-SQL Server 疑难问题
社区管理员
  • 疑难问题社区
  • 尘觉
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧