mysql批量处理海量数据

小娜所谓事实上 2016-06-23 05:37:36

比如我要处理几千个单子（单子在A表）
每个单子都要修改A数据--根据A的数据在修改B和C表的数据
剩余单子一样
因为要每条每条处理,不能使用批量处理,导致数据很大的时候，处理很慢
基本1s处理几十个单子，性能太慢了
怎么才能及时又正确的处理这些单子呢

...全文

174 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

zjcxc 2016-06-24

打赏
举报

回复

事务会导致数据不对？没明白，弄个例子说明一下呢

小娜所谓事实上 2016-06-24

打赏
举报

回复

我需要对A表进行数据记录比如我update之前 A表的值 updateA的值记录到B表如果事物提交的话 ,记录到B表的数据就不对了

zjcxc 2016-06-23

打赏
举报

回复

如果数据检索没有问题，那么就是数据操作慢，这种建议加事务，比如每1000个单子放在一个事务中

可以将批量删除逻辑封装成存储过程，利用存储过程自动控制批量删除过程。方法适用场景优点缺点LIMIT分批删除需要简单分批删除逻辑简单，减少锁表时间需循环操作主键范围分批删除有连续主键的表高效，无偏移开销需手动指定范围自定义批量删除存储过程小批量删除自动化操作需要数据库支持存储过程临时表替换删除数据量非常大避免锁表，减少日志开销需要额外磁盘空间根据不同的业务场景和需求，选择合适的批量删除方式可以提高 MySQL 的删除效率，减少对数据库的影响。

一说海量数据有人就说了直接用大数据，那只能说不太了解这块，为此我们才要好好的去讲解一下海量的处理海量数据的处理分为两种情况 1）表中有海量数据，但是每天不是很快的增长 2）表中有还流量数据，而且每天很快速的增长针对这了两种情况，我们给出的解决方案也不太一样，而且也不是所有的项目都是这样的情况。海量数据的解决方案 1）使用缓存 2）页面静态化技术 3）数据库优化 4）分离数据库中活跃的...

这个参数后的抓包截图，jdbc客户端重写了sql语句，它把多个sql语句用分号分隔连接在一起，形成一个大sql脚本，然后将这个sql脚本一次性发送到server端，最后接收到了大量的response响应。mysql提供了批量写入的方法，将大批量的sql脚本一批次发送到服务端，减少IO次数，然后统一一次执行sql。理论上，上面的sql是批量提交到mysql server统一执行的，但在默认情况下实际上它还是一条条执行命令，要真正的批量执行sql，需要在jdbc连接url加上。，重启项目再执行接口。

由于要求此表中的数据只保留当天的数据，所以每当在凌晨的某一时刻当其他程序处理完其中的数据后要删除该表中昨天以及以前的数据，使用delete删除表中的上百万条记录时，MySQL删除速度非常缓慢，每一万条记录需要大概4分钟左右，这样删除所有无用数据要达到八个小时以上，这是难以接受的。的时候根据不同的场景使用不同的方法，比如说删除表中部分数据、删除表的结构、删除所有记录并重置自增ID、批量删除大量数据等，可以使用delete、truncate、drop等语句。2、再重命名原始表，并给新表命名为原始表的原始表名；

在日常的数据库管理与运维工作中，面对海量数据的删除操作，如何做到高效、安全且不影响业务正常运转，是我们常常需要攻克的难题。今天，就结合实际遇到的几种典型场景，深入剖析在 MySQL 中应对不同量级、不同结构表数据删除的有效策略。

57,063

社区成员

56,759

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章