mysql 600W数据分组查询-CSDN论坛

⋅Java keytool 生成证书后缀名 keystone 代表什么？ ⋅对java keytool工具的理解 ⋅mysql 600W数据分组查询 更多帖子 关注私信空间博客 cfd406635982 本版专家分：29 结帖率 97.98%



--数据库mysql 5.X



--创建表的语句

CREATE TABLE TABLE_A (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `logtime` datetime DEFAULT NULL ,

  `isFirst` int(11) NOT NULL DEFAULT '0' COMMENT '只有0/1',

  `name` varchar(15) DEFAULT NULL,

  `uid` varchar(100) DEFAULT NULL,

  `sended` int(11) NOT NULL DEFAULT '0' COMMENT '只有0/1',

  PRIMARY KEY (`id`),

  KEY `logtime` (`logtime`)

) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 ROW_FORMAT=COMPACT;

--数据 太多了。模拟给一条吧。

INSERT INTO `table_a` VALUES (1,'2013-04-27 01:02:03',0,'jack','13243423',0);



-- 查询语句

SELECT uid, count(*) as count, name, GROUP_CONCAT(id) FROM TABLE_A 

WHERE (isFirst=0 and sended=0) and LEFT(logtime, 7)='2013-04'

GROUP BY uid HAVING  count >= 15

 limit 0,10000;

这个表的数据量大约600--800W
如果不分页的话，基本上每次查询出来的结果在10-20W行左右，
由于是分组，每个分组的数量大概在5-60条记录吧，所以关联的记录大概在100W左右。
数据需要查询出来再处理，几十万一次加载到内存太多了，所以分页。
但是效率特别低，其中有一个GROUP_CONCAT(id) 这个也比较影响性能。
但是我需要知道每次分组后的ID，以便更新值。
其中isFirst 和 sended 只有0和1 两个值。

=======
有什么好的办法吗？

0 2013-04-27 16:24:30

回复数 4 只看楼主引用举报楼主

cfd406635982 本版专家分：29: 大哥些。。没人回答吗？。。

0 2013-04-27 18:04:40

只看TA 引用举报 #1 得分 0

⋅mongodb4.0将支持事务 ⋅csdn越来越恶心了，不仅每个帖子挂超链接，一楼回复直接是推荐链接 ⋅为什么每个帖子的回复都自动加个超链接？？想流量想疯了吧 更多帖子 关注私信空间博客 rucypli 本版专家分：105954 版主 红花 2017年6月其他数据库开发大版内专家分月排行榜第一 2017年2月其他数据库开发大版内专家分月排行榜第一 2013年11月其他数据库开发大版内专家分月排行榜第一 2013年9月其他数据库开发大版内专家分月排行榜第一 2013年2月其他数据库开发大版内专家分月排行榜第一 黄花 2018年2月其他数据库开发大版内专家分月排行榜第二 2018年1月其他数据库开发大版内专家分月排行榜第二 2017年12月其他数据库开发大版内专家分月排行榜第二 2017年11月其他数据库开发大版内专家分月排行榜第二 2017年1月其他数据库开发大版内专家分月排行榜第二 2014年8月其他数据库开发大版内专家分月排行榜第二 2014年2月其他数据库开发大版内专家分月排行榜第二 2014年1月其他数据库开发大版内专家分月排行榜第二 2013年12月其他数据库开发大版内专家分月排行榜第二 2013年10月其他数据库开发大版内专家分月排行榜第二 2013年8月其他数据库开发大版内专家分月排行榜第二 2013年5月其他数据库开发大版内专家分月排行榜第二 2013年1月其他数据库开发大版内专家分月排行榜第二 2012年8月其他数据库开发大版内专家分月排行榜第二 2012年5月其他数据库开发大版内专家分月排行榜第二 2012年4月其他数据库开发大版内专家分月排行榜第二 2012年1月其他数据库开发大版内专家分月排行榜第二 蓝花 2017年9月其他数据库开发大版内专家分月排行榜第三 2017年7月其他数据库开发大版内专家分月排行榜第三 2017年5月其他数据库开发大版内专家分月排行榜第三 2017年3月其他数据库开发大版内专家分月排行榜第三 2016年12月其他数据库开发大版内专家分月排行榜第三 2014年11月其他数据库开发大版内专家分月排行榜第三 2014年7月其他数据库开发大版内专家分月排行榜第三 2014年6月其他数据库开发大版内专家分月排行榜第三 2014年5月其他数据库开发大版内专家分月排行榜第三 2013年7月其他数据库开发大版内专家分月排行榜第三 2013年3月其他数据库开发大版内专家分月排行榜第三 2012年7月其他数据库开发大版内专家分月排行榜第三 2012年6月其他数据库开发大版内专家分月排行榜第三 2011年12月其他数据库开发大版内专家分月排行榜第三: LEFT(logtime, 7)='2013-04‘

这句改成 logtime >'2013-04' and logtime <'2013-05'

0 2013-04-27 20:58:37

只看TA 引用举报 #2 得分 10

⋅请问：在ACCESS中如何给已存在的表建立关系？ ⋅求助找回密码！！！ ⋅如果我的密码被人修改，应该怎么办？ 更多帖子 关注私信空间博客 wwwwb 本版专家分：239799 版主 红花 2008年8月其他数据库开发大版内专家分月排行榜第一 2008年7月其他数据库开发大版内专家分月排行榜第一 2007年7月其他数据库开发大版内专家分月排行榜第一 2007年6月其他数据库开发大版内专家分月排行榜第一 2006年12月其他数据库开发大版内专家分月排行榜第一 2006年11月其他数据库开发大版内专家分月排行榜第一 2006年9月其他数据库开发大版内专家分月排行榜第一 2006年5月其他数据库开发大版内专家分月排行榜第一 2005年12月其他数据库开发大版内专家分月排行榜第一 黄花 2015年6月其他数据库开发大版内专家分月排行榜第二 2015年5月其他数据库开发大版内专家分月排行榜第二 2013年6月其他数据库开发大版内专家分月排行榜第二 2013年3月其他数据库开发大版内专家分月排行榜第二 2012年12月其他数据库开发大版内专家分月排行榜第二 2012年10月其他数据库开发大版内专家分月排行榜第二 2012年9月其他数据库开发大版内专家分月排行榜第二 2012年7月其他数据库开发大版内专家分月排行榜第二 2012年6月其他数据库开发大版内专家分月排行榜第二 2011年11月其他数据库开发大版内专家分月排行榜第二 2011年10月其他数据库开发大版内专家分月排行榜第二 2011年9月其他数据库开发大版内专家分月排行榜第二 2011年6月其他数据库开发大版内专家分月排行榜第二 2011年5月其他数据库开发大版内专家分月排行榜第二 2011年4月其他数据库开发大版内专家分月排行榜第二 2011年3月其他数据库开发大版内专家分月排行榜第二 2011年2月其他数据库开发大版内专家分月排行榜第二 2010年12月其他数据库开发大版内专家分月排行榜第二 2010年11月其他数据库开发大版内专家分月排行榜第二 2010年9月其他数据库开发大版内专家分月排行榜第二 2010年7月其他数据库开发大版内专家分月排行榜第二 2010年4月其他数据库开发大版内专家分月排行榜第二 2010年3月其他数据库开发大版内专家分月排行榜第二 2010年1月其他数据库开发大版内专家分月排行榜第二 2009年12月其他数据库开发大版内专家分月排行榜第二 2008年6月其他数据库开发大版内专家分月排行榜第二 2008年5月其他数据库开发大版内专家分月排行榜第二 2008年4月其他数据库开发大版内专家分月排行榜第二 2007年5月其他数据库开发大版内专家分月排行榜第二 2007年1月其他数据库开发大版内专家分月排行榜第二 2006年10月其他数据库开发大版内专家分月排行榜第二 2006年8月其他数据库开发大版内专家分月排行榜第二 2006年6月其他数据库开发大版内专家分月排行榜第二 2006年4月其他数据库开发大版内专家分月排行榜第二 2005年9月其他数据库开发大版内专家分月排行榜第二 蓝花 2013年12月其他数据库开发大版内专家分月排行榜第三 2013年5月其他数据库开发大版内专家分月排行榜第三 2013年4月其他数据库开发大版内专家分月排行榜第三 2013年2月其他数据库开发大版内专家分月排行榜第三 2013年1月其他数据库开发大版内专家分月排行榜第三 2012年5月其他数据库开发大版内专家分月排行榜第三 2012年4月其他数据库开发大版内专家分月排行榜第三 2012年3月其他数据库开发大版内专家分月排行榜第三 2012年2月其他数据库开发大版内专家分月排行榜第三 2011年8月其他数据库开发大版内专家分月排行榜第三 2011年7月其他数据库开发大版内专家分月排行榜第三 2010年10月其他数据库开发大版内专家分月排行榜第三 2010年5月其他数据库开发大版内专家分月排行榜第三 2010年2月其他数据库开发大版内专家分月排行榜第三 2009年11月其他数据库开发大版内专家分月排行榜第三 2009年10月其他数据库开发大版内专家分月排行榜第三 2009年5月其他数据库开发大版内专家分月排行榜第三 2009年4月其他数据库开发大版内专家分月排行榜第三 2008年12月其他数据库开发大版内专家分月排行榜第三 2008年11月其他数据库开发大版内专家分月排行榜第三 2008年10月其他数据库开发大版内专家分月排行榜第三 2008年9月其他数据库开发大版内专家分月排行榜第三 2007年9月其他数据库开发大版内专家分月排行榜第三 2007年8月其他数据库开发大版内专家分月排行榜第三 2007年4月其他数据库开发大版内专家分月排行榜第三 2007年3月其他数据库开发大版内专家分月排行榜第三 2007年2月其他数据库开发大版内专家分月排行榜第三 2006年7月其他数据库开发大版内专家分月排行榜第三 2006年2月其他数据库开发大版内专家分月排行榜第三 2006年1月其他数据库开发大版内专家分月排行榜第三 2005年11月其他数据库开发大版内专家分月排行榜第三 2005年10月其他数据库开发大版内专家分月排行榜第三: LEFT(logtime, 7)='2013-04'：无法用到索引
最好logtime用日期型

0 2013-04-28 09:14:42

只看TA 引用举报 #3 得分 10

⋅国内大家感觉程序员中有百分之多少不知道CSDN的？ ⋅无法看到某些私信 ⋅无法看到某些私信 更多帖子 关注私信空间博客 ACMAIN_CHM 本版专家分：471826 版主 名人 2012年荣获名人称号 榜眼 2010年总版技术专家分年内排行榜第二 探花 2009年总版技术专家分年内排行榜第三 进士 2013年总版技术专家分年内排行榜第十 2011年总版技术专家分年内排行榜第七: create index xx on TABLE_A(isFirst,sended,uid,logtime);

SELECT uid, count(*) as count, name, GROUP_CONCAT(id)
FROM TABLE_A WHERE (isFirst=0 and sended=0) and logtime between '2013-04-01' and '2013-04-30 23:59:59'
GROUP BY uid HAVING count(*) >= 15
limit 0,10000;

0 2013-04-28 09:32:00

只看TA 引用举报 #4 得分 30

mysql 600W数据 分组查询 [问题点数：50分，结帖人cfd406635982]

mysql 600W数据分组查询 [问题点数：50分，结帖人cfd406635982]