有条件删除海量数据时,涉及的日志及空间问题
目前该表约有22亿数据,存储的是每天每小时的统计数据,每天每小时约50W的统计数据。(不要问我为什么这么搞,我也不知道。)
该表已经分区,分区粒度为若干个月,我同样也不知道为什么是无规则的若干个月。
每个分区的数据量为:1089266596、962350288、192485096(10亿,9.6亿,1.9亿)
因为占用存储空间太大,现决定,只保留每天23-24这个时点的统计数据,即:要清除另外23个小时的统计数据。
现在有三个问题:
1、如果只在当前表上进行DELETE操作,DELETE操作不会释放空间,并不能解决空间占用的问题。
2、DELETE操作,会记录日志,这么大数据量的操作,日志也会太大。恢复模式已经设置为“简单”了。
3、DELETE操作,即使按分区,操作时间也会很长吧。是否会超时导致失败?
目前的想法,建立一张临时表,对应的数据文件在另一个空间足够的磁盘上。
然后将每天23-24点的统计数据初始化到这张临时表。
然后,对当前22亿的表进行TRUNCATE操作。
然后,再将临时表的数据重新插入到目标表。
不知道是否可行。因为是在生产库上进行操作。担心如下几点问题:
1、22亿数据的TRUNCATE操作是否会产生不良影响
2、将临时表的数据插入到目标表的开销。
3、插入操作是否会产生大量日志,能否不记录操作日志呢?
盼大家给出意见和建议。
该表已经分区,分区粒度为若干个月,我同样也不知道为什么是无规则的若干个月。
每个分区的数据量为:1089266596、962350288、192485096(10亿,9.6亿,1.9亿)
因为占用存储空间太大,现决定,只保留每天23-24这个时点的统计数据,即:要清除另外23个小时的统计数据。
现在有三个问题:
1、如果只在当前表上进行DELETE操作,DELETE操作不会释放空间,并不能解决空间占用的问题。
2、DELETE操作,会记录日志,这么大数据量的操作,日志也会太大。恢复模式已经设置为“简单”了。
3、DELETE操作,即使按分区,操作时间也会很长吧。是否会超时导致失败?
目前的想法,建立一张临时表,对应的数据文件在另一个空间足够的磁盘上。
然后将每天23-24点的统计数据初始化到这张临时表。
然后,对当前22亿的表进行TRUNCATE操作。
然后,再将临时表的数据重新插入到目标表。
不知道是否可行。因为是在生产库上进行操作。担心如下几点问题:
1、22亿数据的TRUNCATE操作是否会产生不良影响
2、将临时表的数据插入到目标表的开销。
3、插入操作是否会产生大量日志,能否不记录操作日志呢?
盼大家给出意见和建议。
...全文
相关推荐
在 SQLSERVER 中快速有条件删除海量数据
最近有个朋友问我,他说他在SQLSERVER删除几百万到几千万数据是显的很慢,帮他分析了一下,提了一些以下意见,或许对很多人有用。
如何在 SQL SERVER 中快速有条件删除海量数据
如何在 SQL SERVER 中快速有条件删除海量数据
Oracle归档日志空间不足引发的问题及归档日志的检测与删除
Oracle归档日志空间不足引发的问题及归档日志的检测与删除
Linux如何处理文件已删除但空间不释放的问题
主要介绍了Linux如何处理文件已删除但空间不释放的问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
解决Oracle数据库归档日志占满磁盘空间问题
主要介绍了解决Oracle数据库归档日志占满磁盘空间问题,文中给大家提到了常用命令及实现代码,需要的朋友可以参考下


疑难问题
