mysql批量处理海量数据

小娜所谓事实上 2016-06-23 05:37:36

比如我要处理几千个单子（单子在A表）
每个单子都要修改A数据--根据A的数据在修改B和C表的数据
剩余单子一样
因为要每条每条处理,不能使用批量处理,导致数据很大的时候，处理很慢
基本1s处理几十个单子，性能太慢了
怎么才能及时又正确的处理这些单子呢

...全文

170 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

zjcxc 2016-06-24

打赏
举报

回复

事务会导致数据不对？没明白，弄个例子说明一下呢

小娜所谓事实上 2016-06-24

打赏
举报

回复

我需要对A表进行数据记录比如我update之前 A表的值 updateA的值记录到B表如果事物提交的话 ,记录到B表的数据就不对了

zjcxc 2016-06-23

打赏
举报

回复

如果数据检索没有问题，那么就是数据操作慢，这种建议加事务，比如每1000个单子放在一个事务中

可以将批量删除逻辑封装成存储过程，利用存储过程自动控制批量删除过程。方法适用场景优点缺点LIMIT分批删除需要简单分批删除逻辑简单，减少锁表时间需循环操作主键范围分批删除有连续主键的表高效，无偏移开销需手动指定范围自定义批量删除存储过程小批量删除自动化操作需要数据库支持存储过程临时表替换删除数据量非常大避免锁表，减少日志开销需要额外磁盘空间根据不同的业务场景和需求，选择合适的批量删除方式可以提高 MySQL 的删除效率，减少对数据库的影响。

这个参数后的抓包截图，jdbc客户端重写了sql语句，它把多个sql语句用分号分隔连接在一起，形成一个大sql脚本，然后将这个sql脚本一次性发送到server端，最后接收到了大量的response响应。mysql提供了批量写入的方法，将大批量的sql脚本一批次发送到服务端，减少IO次数，然后统一一次执行sql。理论上，上面的sql是批量提交到mysql server统一执行的，但在默认情况下实际上它还是一条条执行命令，要真正的批量执行sql，需要在jdbc连接url加上。，重启项目再执行接口。

一说海量数据有人就说了直接用大数据，那只能说不太了解这块，为此我们才要好好的去讲解一下海量的处理海量数据的处理分为两种情况 1）表中有海量数据，但是每天不是很快的增长 2）表中有还流量数据，而且每天很快速的增长针对这了两种情况，我们给出的解决方案也不太一样，而且也不是所有的项目都是这样的情况。海量数据的解决方案 1）使用缓存 2）页面静态化技术 3）数据库优化 4）分离数据库中活跃的...

文档引自以上文件。昨天，有小伙伴面试说，面试时遇到这个问题。于是我总结了一下。

关键词：分库分表，路由机制，跨区查询，MySQL数据变更，分表数据查询管理器与线程技术的结合，Cache前面已经讲过Mysql实现海量海量数据存储查询时，主要有几个关键点，分表，分库，集群，M-S，负载均衡。其中分库分表是很重要的一点。分库是如何将海量的Mysql数据放到不同的服务器中，分表则是在分库基础上对数据现进行逻辑上的划分。数据划分可有多种方式，找到一个主键后，可以按号段分，也可以Has...

56,876

社区成员

56,754

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章