mysql 600W数据 分组查询

cfd406635982 cfd406635982 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区

--数据库mysql 5.X

--创建表的语句
CREATE TABLE TABLE_A (
`id` int(11) NOT NULL AUTO_INCREMENT,
`logtime` datetime DEFAULT NULL ,
`isFirst` int(11) NOT NULL DEFAULT '0' COMMENT '只有0/1',
`name` varchar(15) DEFAULT NULL,
`uid` varchar(100) DEFAULT NULL,
`sended` int(11) NOT NULL DEFAULT '0' COMMENT '只有0/1',
PRIMARY KEY (`id`),
KEY `logtime` (`logtime`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 ROW_FORMAT=COMPACT;
--数据 太多了。模拟给一条吧。
INSERT INTO `table_a` VALUES (1,'2013-04-27 01:02:03',0,'jack','13243423',0);

-- 查询语句
SELECT uid, count(*) as count, name, GROUP_CONCAT(id) FROM TABLE_A
WHERE (isFirst=0 and sended=0) and LEFT(logtime, 7)='2013-04'
GROUP BY uid HAVING count >= 15
limit 0,10000;



这个表的数据量大约600--800W
如果不分页的话,基本上每次查询出来的结果在10-20W行左右,
由于是分组,每个分组的数量大概在5-60条记录吧,所以关联的记录大概在100W左右。
数据需要查询出来再处理,几十万一次加载到内存太多了,所以分页。
但是效率特别低,其中有一个GROUP_CONCAT(id) 这个也比较影响性能。
但是我需要知道每次分组后的ID,以便更新值。
其中isFirst 和 sended 只有0和1 两个值。

=======
有什么好的办法吗?
...全文

相关推荐

mysql批量删除大量数据

主要介绍了mysql批量删除大量数据的相关资料,需要的朋友可以参考下

weixin_38719540

完整版MySQL数据库

MySQL5.1完整版 !

JayKing_csdn

mysql 卡死 大部分线程长时间处于sending data的状态

有台服务器,访问量挺大,每天近250w动态pv,数据库查询平均每秒近600次 另一台服务器,跑的程序跟这台一样,不过只有每天约40w动态pv 前段时间连续卡死过几次,当时的状态是 服务器没崩溃,数据库可正常登陆。只是所有的查询都卡在“sending data”状态,长时间无法执行完,这些简单的sql语句,有时候集中在A表上,有时候集中在B表上,同时还有一些卡死在locked状态或update状态 看mysql的说明,sending data状态表示两种情况,一种是mysql已经查询了数据,正在发给客户端;另一种情况是,mysql已经知道某些数据需要去什么地方读取,正在从数据文件中读取 mysq

weixin_38657376

Mysql Error Code : 1436 Thread stack overrun

I meet with the error while calling stored procedures from the MySql in my Mac system server. It similar as the description below

weixin_38695293

MySQL 8.0.19安装问题[可运行源码]

文章详细记录了在安装MySQL 8.0.19时遇到的两个主要问题及其解决方案。首先,安装MYSQL shell时提示缺少Visual Studio 2019 Redistributable,建议从微软官网下载并安装x64和x86版本。其次,安装Connector/ODBC时出现Error 1918,提示无法加载ODBC驱动程序,作者通过卸载所有MySQL相关组件并重新安装,利用安装程序自带的依赖检查功能解决了问题。文章提供了实用的解决思路,尤其强调了注意依赖版本匹配的重要性。

wdx012345
评论 4
收藏 已收藏
分享
返回顶部
cfd406635982
MySQL 57,062 成员 56,759 内容