社区
MySQL
帖子详情
mysql批量处理海量数据
小娜所谓事实上
2016-06-23 05:37:36
比如我要处理几千个单子(单子在A表)
每个单子都要修改A数据--根据A的数据在修改B和C表的数据
剩余单子一样
因为要每条每条处理,不能使用批量处理,导致数据很大的时候,处理很慢
基本1s处理几十个单子,性能太慢了
怎么才能及时又正确的处理这些单子呢
...全文
195
3
打赏
收藏
mysql批量处理海量数据
比如我要处理几千个单子(单子在A表) 每个单子都要修改A数据--根据A的数据在修改B和C表的数据 剩余单子一样 因为要每条每条处理,不能使用批量处理,导致数据很大的时候,处理很慢 基本1s处理几十个单子,性能太慢了 怎么才能及时又正确的处理这些单子呢
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
zjcxc
2016-06-24
打赏
举报
回复
事务会导致数据不对?没明白,弄个例子说明一下呢
小娜所谓事实上
2016-06-24
打赏
举报
回复
我需要对A表进行数据记录 比如 我update之前 A表的值 updateA的值 记录到B表 如果事物提交的话 ,记录到B表的数据就不对了
zjcxc
2016-06-23
打赏
举报
回复
如果数据检索没有问题,那么就是数据操作慢,这种建议加事务,比如每1000个单子放在一个事务中
MySQL
批量删除
海量
数据
的几种方法
减少锁表时间需循环操作主键范围分批删除有连续主键的表高效,无偏移开销需手动指定范围自定义批量删除存储过程小批量删除自动化操作需要
数据
库支持存储过程临时表替换删除
数据
量非常大避免锁表,减少日志开销需要...
Mysql
海量
数据
处理
一说
海量
数据
有人就说了直接用大
数据
,那只能说不太了解这块,为此我们才要好好的去讲解一下
海量
的处理
海量
数据
的处理分为两种情况 1)表中有
海量
数据
,但是每天不是很快的增长 2)表中有还流量
数据
,而且每天很...
深入浅出
mysql
海量
数据
批量更新插入、批量查询
这个参数后的抓包截图,jdbc客户端重写了...理论上,上面的sql是批量提交到
mysql
server统一执行的,但在默认情况下实际上它还是一条条执行命令,要真正的批量执行sql,需要在jdbc连接url加上。,重启项目再执行接口。
mysql
如何批量删除
海量
数据
由于要求此表中的
数据
只保留当天的
数据
,所以每当在凌晨的某一时刻当其他程序处理完其中的
数据
后要删除该表中昨天以及以前的
数据
,使用delete删除表中的上百万条记录时,
MySQL
删除速度非常缓慢,每一万条记录需要...
MySQL
高效批量删除
海量
数据
策略解析
在日常的
数据
库管理与运维工作中,面对
海量
数据
的删除操作,如何做到高效、安全且不影响业务正常运转,是我们常常需要攻克的难题。今天,就结合实际遇到的几种典型场景,深入剖析在
MySQL
中应对不同量级、不同结构...
MySQL
57,063
社区成员
56,762
社区内容
发帖
与我相关
我的任务
MySQL
MySQL相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MySQL相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章