mysql 600W数据 分组查询
--数据库mysql 5.X
--创建表的语句
CREATE TABLE TABLE_A (
`id` int(11) NOT NULL AUTO_INCREMENT,
`logtime` datetime DEFAULT NULL ,
`isFirst` int(11) NOT NULL DEFAULT '0' COMMENT '只有0/1',
`name` varchar(15) DEFAULT NULL,
`uid` varchar(100) DEFAULT NULL,
`sended` int(11) NOT NULL DEFAULT '0' COMMENT '只有0/1',
PRIMARY KEY (`id`),
KEY `logtime` (`logtime`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 ROW_FORMAT=COMPACT;
--数据 太多了。模拟给一条吧。
INSERT INTO `table_a` VALUES (1,'2013-04-27 01:02:03',0,'jack','13243423',0);
-- 查询语句
SELECT uid, count(*) as count, name, GROUP_CONCAT(id) FROM TABLE_A
WHERE (isFirst=0 and sended=0) and LEFT(logtime, 7)='2013-04'
GROUP BY uid HAVING count >= 15
limit 0,10000;
这个表的数据量大约600--800W
如果不分页的话,基本上每次查询出来的结果在10-20W行左右,
由于是分组,每个分组的数量大概在5-60条记录吧,所以关联的记录大概在100W左右。
数据需要查询出来再处理,几十万一次加载到内存太多了,所以分页。
但是效率特别低,其中有一个GROUP_CONCAT(id) 这个也比较影响性能。
但是我需要知道每次分组后的ID,以便更新值。
其中isFirst 和 sended 只有0和1 两个值。
=======
有什么好的办法吗?
相关推荐
mysql批量删除大量数据
主要介绍了mysql批量删除大量数据的相关资料,需要的朋友可以参考下
完整版MySQL数据库
MySQL5.1完整版 !
mysql 卡死 大部分线程长时间处于sending data的状态
有台服务器,访问量挺大,每天近250w动态pv,数据库查询平均每秒近600次 另一台服务器,跑的程序跟这台一样,不过只有每天约40w动态pv 前段时间连续卡死过几次,当时的状态是 服务器没崩溃,数据库可正常登陆。只是所有的查询都卡在“sending data”状态,长时间无法执行完,这些简单的sql语句,有时候集中在A表上,有时候集中在B表上,同时还有一些卡死在locked状态或update状态 看mysql的说明,sending data状态表示两种情况,一种是mysql已经查询了数据,正在发给客户端;另一种情况是,mysql已经知道某些数据需要去什么地方读取,正在从数据文件中读取 mysq
Mysql Error Code : 1436 Thread stack overrun
I meet with the error while calling stored procedures from the MySql in my Mac system server. It similar as the description below
MySQL 8.0.19安装问题[可运行源码]
文章详细记录了在安装MySQL 8.0.19时遇到的两个主要问题及其解决方案。首先,安装MYSQL shell时提示缺少Visual Studio 2019 Redistributable,建议从微软官网下载并安装x64和x86版本。其次,安装Connector/ODBC时出现Error 1918,提示无法加载ODBC驱动程序,作者通过卸载所有MySQL相关组件并重新安装,利用安装程序自带的依赖检查功能解决了问题。文章提供了实用的解决思路,尤其强调了注意依赖版本匹配的重要性。


