社区
MySQL
帖子详情
mysql大数量处理
kill8108
2007-11-10 01:35:42
大家好,请问一个MYSQL大数据量处理问题:
每天一张表数据最少有3000W数据,mysql处理过1000W级数据就有问题,不知如何是好,请大家帮帮我,给个主意吧,谢谢!
...全文
240
4
打赏
收藏
mysql大数量处理
大家好,请问一个MYSQL大数据量处理问题: 每天一张表数据最少有3000W数据,mysql处理过1000W级数据就有问题,不知如何是好,请大家帮帮我,给个主意吧,谢谢!
复制链接
扫一扫
分享
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
「已注销」
2007-11-14
打赏
举报
回复
另,楼主的所谓3000W数据,这个描述不准确。插入,查询的速度还取决于单条记录长度,有什么索引等。这方面是否经过仔细考虑?
如果是记录定长切很短的MYISAM表,3000W,主键或短的唯一键索引查询也不慢:P
呵呵,不要见到千万级就老套的以为MYSQL不行了,要相信技术是在发展的。曾经的那些MYSQL无法支持大数据量的言论早就过时了,一些简单应用都是没有问题的。
kill8108
2007-11-12
打赏
举报
回复
同步时间可以通过参数master-connect-retry=60设置的,但不知每天那么多数据应怎么处理会更好呢,各位大侠指点!
谢谢
懒得去死
2007-11-11
打赏
举报
回复
见过MYSQL的MERGE表和PARTITION吗?看看手册上详细介绍。
kill8108
2007-11-10
打赏
举报
回复
每天一张表的话,MYSQL也无法支持到3000W了,对查询等的操作起来很慢,请求各位大侠帮个忙!
这个使用了主从数据库同步了,
在这里在问下,MYSQL主从数据库同步是多少时间同步一次的呢!
mysql
处理
大
数量
问题 Packet for query is too large (4486793 > 1048576)
使用mybatis批量出入数据时,报错 查的原因是
mysql
默认的插入 就允许1M 此时,我们可以去修改数据库,但是注意 修改后需要重启数据库,而我这里不行,数据库不能随便重启,所以只能换种插入方式,使用myql的load方法进行数据插入 <select id="insertKeywordByFile" parameterType="com.timelyreport.mode...
mysql
快速删除大表数据部分数据_
mysql
大表批量删除大量数据的实现方法
问题参考自:https://www.zhihu.com/question/440066129/answer/1685329456 ,
mysql
中,一张表里有3亿数据,未分表,其中一个字段是企业类型,企业类型是一般企业和个体户,个体户的数据量差不多占50%,根据条件把个体户的行都删掉。请问如何操作?答案为个人原创假设表的引擎是 Innodb,
MySQL
5.7+删除一条记录,首先锁住这条记录,数据...
mysql
读数据入库es_
mysql
大结果集保存到es
处理
方法
在
处理
mysql
数据同步到es上时遇到的问题和解决方案:最初在使用的是JPA数据连接
处理
,先分页查询出数据,然后在转成ES需要的数据格式这里用的是最low的JSON转换JSONArray.parseArray(JSON.toJSONString(list),Object.class)然后在保存到es中,此处的弊端:1.读取
mysql
的list缓存在内存中,在通过json转换,太耗内存2.
mysql
...
if
mysql
批量
处理
_
mysql
大表批量删除大量数据的实现方法
问题参考自: ,
mysql
中,一张表里有3亿数据,未分表,其中一个字段是企业类型,企业类型是一般企业和个体户,个体户的数据量差不多占50%,根据条件把个体户的行都删掉。请问如何操作?答案为个人原创假设表的引擎是 innodb,
mysql
5.7+删除一条记录,首先锁住这条记录,数据原有的被废弃,记录头发生变化,主要是打上了删除标记。也就是原有的数据 deleted_flag 变成 1,代表数据被...
对数据库进行批
处理
的行数限制
当数据过大时,需要分批次
处理
。 SqlServer 对语句的条数和参数的
数量
都有限制,分别是 1000 和 2100。
Mysql
对语句的长度有限制,默认是 4M。 Mybatis 对动态语句没有
数量
上的限制
MySQL
57,062
社区成员
56,759
社区内容
发帖
与我相关
我的任务
MySQL
MySQL相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MySQL相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章