如何快速删除在线数据

gingerkang 2014-06-30 04:07:33
有几个表分别有几千万的记录需要删除，同时有业务在跑，不能中断
有分区表，直接删除分区表很快，但是会导致全局索引不可用，会影响正常的业务，delete即使分批也很慢
请什么快的删除方法或好的建议？谢谢了！
...全文
210 11 打赏 收藏 转发到动态 举报
写回复
用AI写文章
11 条回复
切换为时间正序
请发表友善的回复…
发表回复
lamb218 2014-07-03
  • 打赏
  • 举报
 回复
如果这种删除属于常态，在设计表的时候就应该建立12个表，每个月一个表，这样操作也应该效率会很高吧
卖水果的net 2014-07-03
  • 打赏
  • 举报
 回复
建议采用蚂蚁啃骨头的方法，每 10 分钟提交一个任务，每次删除一批（比如：10W 条），一天就可以啃掉 1440W 条，如果你 8000W 条，有 5 天半就啃完了，这样对业务影响也比较小。
空心兜兜 2014-07-02
  • 打赏
  • 举报
 回复
为什么要删除在线数据？
Chuck_Perry 2014-07-02
  • 打赏
  • 举报
 回复
非得一下删了吗？一天删一点可以吗？
一颗向往数据的心丶 2014-06-30
  • 打赏
  • 举报
 回复
引用 3 楼 wildwave 的回复:
这个就需要权衡了 1. truncate分区以后再重建索引。在此期间业务的相关语句的查询效率可能会受到影响 2. 分批delete以后再truncate，索引不会失效。但删除时间较长 3. 临时创建一个local索引，用来在全局索引失效时临时使用。两个索引的字段不能相同，但可以在原全局索引的字段后面加一个占用空间较小的字段来绕过去。然后truncate分区，再重建全局索引，最后删除临时的local索引。临时索引会占用额外的空间
学习！
gingerkang 2014-06-30
  • 打赏
  • 举报
 回复
引用 4 楼 AcHerat 的回复:
还是建议去分批delete，再truncate。 几千万肯定是几个月积累下来的，没有实时去删除吧！要不搞一个作业找个业务量发生较少的时间段去删除。
是呀，1年前整理了下数据，后面一直没有怎么维护数据，现在发现数据越来越多，磁盘有点吃紧了，反正感觉后面麻烦会越来越多，需要制定一个相对有效的计划来处理这些数据了
gingerkang 2014-06-30
  • 打赏
  • 举报
 回复
引用 3 楼 wildwave 的回复:
这个就需要权衡了 1. truncate分区以后再重建索引。在此期间业务的相关语句的查询效率可能会受到影响 2. 分批delete以后再truncate，索引不会失效。但删除时间较长 3. 临时创建一个local索引，用来在全局索引失效时临时使用。两个索引的字段不能相同，但可以在原全局索引的字段后面加一个占用空间较小的字段来绕过去。然后truncate分区，再重建全局索引，最后删除临时的local索引。临时索引会占用额外的空间
谢谢，我会逐步尝试的
AcHerat 2014-06-30
  • 打赏
  • 举报
 回复
还是建议去分批delete，再truncate。 几千万肯定是几个月积累下来的，没有实时去删除吧！要不搞一个作业找个业务量发生较少的时间段去删除。
小灰狼W 2014-06-30
  • 打赏
  • 举报
 回复
这个就需要权衡了 1. truncate分区以后再重建索引。在此期间业务的相关语句的查询效率可能会受到影响 2. 分批delete以后再truncate，索引不会失效。但删除时间较长 3. 临时创建一个local索引，用来在全局索引失效时临时使用。两个索引的字段不能相同，但可以在原全局索引的字段后面加一个占用空间较小的字段来绕过去。然后truncate分区，再重建全局索引，最后删除临时的local索引。临时索引会占用额外的空间
gingerkang 2014-06-30
  • 打赏
  • 举报
 回复
引用 1 楼 z_shousi 的回复:
Truncate Table --不可回滚
不是删除所有数据，只是部分数据，几个月之前的数据，删的时候要有业务在跑，在写数据的
一颗向往数据的心丶 2014-06-30
  • 打赏
  • 举报
 回复
Truncate Table --不可回滚
快速删除表中的数据
1.快速删除表中的数据 //删除dept_bak表中的数据 delete from dept_bak; //这种删除数据的方式比较慢。 mysql> select * from dept_bak; Empty set (0.00 sec) delete语句删除数据的原理？（delete属于DML语句！！！） 表中的数据被删除了，但是这个数据在硬盘上的真实存储空间不会被释放！！！ 这种删除缺点是：删除效率比较低。 这种删除优点是：支持回滚，后悔了可以再恢复数据！！！ truncate语句删除数据的
oracle数据库如何快速删除大批量数据（千万级）
针对数据量比较大的情况最好是分表，但是分表是有代价的，分表后程序也要做响应调整，这要求在前期规划的时候就要考虑到这个问题。更普遍的做法采用分区比较多（个人看法）同时对老数据进行转移，比如对登录日志、盘存信息等可以将5年以前的数据进行归档，放到另外一张表中，使在用的表保持在一定的数据量（比如1000万，500万）。那么在归档完成后肯定需要对原表数据进行删除，这个时候删除的数据量可能就会比较大(500万，1000万)。那么在删除大量数据的方法有哪些呢？本文针对oracle数据库为例说明各种方法。
mysql千万级数据怎么删除,MySQL 快速删除大量数据（千万级别）的几种实践方案详解...
这篇文章主要介绍了MySQL 快速删除大量数据(千万级别)的几种实践方案详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧笔者最近工作中遇见一个性能瓶颈问题，MySQL表，每天大概新增776万条记录，存储周期为7天，超过7天的数据需要在新增记录前老化。连续运行9天以后，删除一天的数据大概需要3个半小时(环境：128G, 32核...
oracle 快速删除大批量数据方法（全部删除，条件删除，删除大量重复记录）

全部删除
如果是删除某个表的所有数据，并且不需要回滚，使用 TRUNCATE 就ok了。关于Trancate 参见这里http://blog.csdn.net/gnolhh168/archive/2011/05/24/6442561.aspx
SQL> truncate   table   table_name;
 
条件删除
如果删除数据有条件，如 delete from tablename where col1 = 'lucy';这时除了加索
SQL Server 快速删除/归档数据方法小结
在SQL Server中，如何快速删除大表中的数据呢？回答这个问题前，我们必须弄清楚上下文环境和以及结合实际、具体的需求，不同场景有不同的应对方法。 1： 整张表的数据全部删除 如果是整张表的数据全部清空、删除，这种场景倒是非常简单，TRUNCATE TABLE肯定是最快的。 反而用DELETE处理的话，就是一个糟糕的策略。 2： 大表中删除一部分数据...
基础和管理

17,377

社区成员

95,128

社区内容

发帖
与我相关
我的任务
社区描述
Oracle 基础和管理
社区管理员
  • 基础和管理社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章