如何提高GROUP BY分组查询效率

uging 2013-09-03 09:21:29
最近工作中遇到一个性能问题，自己搞了好久还是没搞定，拿到论坛上来，希望各位大虾给点意见。
查询的SQL如下：
SELECT A,B,C,D,COUNT(1) FROM T WHERE C=@C AND D IN (@D) GROUP BY A,B
因为数据量比较大，所以这条SQL效率就变得特别慢，而且这个是用在页面查询上的，分页后每次查询都要花到8到9秒钟，页面卡死在那边，希望高手们帮小弟解答，小弟这边先谢过了。
...全文
12900 16 打赏 收藏 转发到动态 举报
写回复
用AI写文章
16 条回复
切换为时间正序
请发表友善的回复…
发表回复
uging 2013-09-04
  • 打赏
  • 举报
 回复
引用 15 楼 rainbowsix 的回复:
[quote=引用 13 楼 uging 的回复:] [quote=引用 11 楼 rainbowsix 的回复:] [quote=引用 10 楼 uging 的回复:] [quote=引用 6 楼 uging 的回复:] [quote=引用 3 楼 lrbyantai 的回复:] 针对此SQL语句，可在C、D字段建索引，A、B建组合索引
这个我已经试过了，加索引效果甚微，查询效果还是一样的慢。[/quote] 贴上SQL
SELECT
  DEALER_ID,
  DEALER_BUSCODE,
  DEALER_NAME,
  DEALER_STATUS,
  OFFER_ID,
  OFFER_NAME,
  CHANNEL_ID,
  SUB_CHANNEL_ID,
  DISTY_ID,
  DISTY_BUSCODE,
  DISTY_NAME,
  REGION_CODE,
  REGION_NAME,
  O_ACTIVATION_TIME,
  P_ACTIVATION_TIME,
  ACTIVATION_DATE,
  STATE_CODE,
  STATE_NAME,
  PACKAGE_ID,
  PACKAGE_NAME,
  SALES_PIC,
  MSISDN,
  COUNT(1)
FROM UM2_ACTI_DTL_201305
WHERE OFFER_TYPE IN(1,3)
    AND ACTIVATION_TYPE = 3
    AND OFFER_ID IN(20000001,20000031,20010010)
    AND PACKAGE_ID IN(322,197,326,566,318,576,277,374,377,581)
    AND CHANNEL_ID IN(1,2,4)
    GROUP BY DEALER_ID,PACKAGE_ID,ACTIVATION_DATE
[/quote] OFFER_ID CHANNEL_ID 有建索引的话 试下这样： 像这样 内容不多的in你用 = 试试看，如果不行我也没办法了额，不了解业务，也不知道应用场景，不好说。 另： 你这查询返回多少数据？[/quote] in语句的地方用=我也试过，没什么效果。 该查询返回的数据在17w左右[/quote] 17W 的话，慢是正常的，不慢反而不正常了哦～～ [/quote] 谢谢，晚上我自己搞了一下，结果出来了
SELECT  DEALER_ID,  DEALER_BUSCODE,  DEALER_NAME,  DEALER_STATUS,  OFFER_ID,  OFFER_NAME,  CHANNEL_ID,  SUB_CHANNEL_ID,  DISTY_ID,  DISTY_BUSCODE,  DISTY_NAME,  REGION_CODE,  REGION_NAME,  O_ACTIVATION_TIME,  P_ACTIVATION_TIME,  ACTIVATION_DATE,  STATE_CODE,  STATE_NAME,  PACKAGE_ID,  PACKAGE_NAME,  SALES_PIC,  MSISDN,  COUNT(distinct DEALER_ID,PACKAGE_ID,ACTIVATION_DATE),count(*) FROM UM2_ACTI_DTL_201305WHERE OFFER_TYPE IN(1,3)    AND ACTIVATION_TYPE = 3    AND OFFER_ID IN(20000001,20000031,20010010)    AND PACKAGE_ID IN(322,197,326,566,318,576,277,374,377,581)    AND CHANNEL_ID IN(1,2,4)    GROUP BY DEALER_ID,PACKAGE_ID,ACTIVATION_DATE
这样效率就高了很多
蛋黄车 2013-09-04
  • 打赏
  • 举报
 回复
针对此SQL语句，可在C、D字段建索引，A、B建组合索引
不会消失的夜晚 2013-09-04
  • 打赏
  • 举报
 回复
你确定你这条语句能执行？？？不在聚集函数中的列，全部要出现在group by语句中，你现在的group by 中少了C,D两列，报错了吧
uging 2013-09-04
  • 打赏
  • 举报
 回复
自己先抢个沙发
无聊找乐 2013-09-04
  • 打赏
  • 举报
 回复
引用 13 楼 uging 的回复:
[quote=引用 11 楼 rainbowsix 的回复:] [quote=引用 10 楼 uging 的回复:] [quote=引用 6 楼 uging 的回复:] [quote=引用 3 楼 lrbyantai 的回复:] 针对此SQL语句，可在C、D字段建索引，A、B建组合索引
这个我已经试过了，加索引效果甚微，查询效果还是一样的慢。[/quote] 贴上SQL
SELECT
  DEALER_ID,
  DEALER_BUSCODE,
  DEALER_NAME,
  DEALER_STATUS,
  OFFER_ID,
  OFFER_NAME,
  CHANNEL_ID,
  SUB_CHANNEL_ID,
  DISTY_ID,
  DISTY_BUSCODE,
  DISTY_NAME,
  REGION_CODE,
  REGION_NAME,
  O_ACTIVATION_TIME,
  P_ACTIVATION_TIME,
  ACTIVATION_DATE,
  STATE_CODE,
  STATE_NAME,
  PACKAGE_ID,
  PACKAGE_NAME,
  SALES_PIC,
  MSISDN,
  COUNT(1)
FROM UM2_ACTI_DTL_201305
WHERE OFFER_TYPE IN(1,3)
    AND ACTIVATION_TYPE = 3
    AND OFFER_ID IN(20000001,20000031,20010010)
    AND PACKAGE_ID IN(322,197,326,566,318,576,277,374,377,581)
    AND CHANNEL_ID IN(1,2,4)
    GROUP BY DEALER_ID,PACKAGE_ID,ACTIVATION_DATE
[/quote] OFFER_ID CHANNEL_ID 有建索引的话 试下这样： 像这样 内容不多的in你用 = 试试看，如果不行我也没办法了额，不了解业务，也不知道应用场景，不好说。 另： 你这查询返回多少数据？[/quote] in语句的地方用=我也试过，没什么效果。 该查询返回的数据在17w左右[/quote] 17W 的话，慢是正常的，不慢反而不正常了哦～～
uging 2013-09-04
  • 打赏
  • 举报
 回复
引用 12 楼 bayougeng 的回复:
你group by这么多字段……要我是数据库我也想不出来怎么能让你快
这个没办法啊，客户需要这么分组
uging 2013-09-04
  • 打赏
  • 举报
 回复
引用 11 楼 rainbowsix 的回复:
[quote=引用 10 楼 uging 的回复:] [quote=引用 6 楼 uging 的回复:] [quote=引用 3 楼 lrbyantai 的回复:] 针对此SQL语句，可在C、D字段建索引，A、B建组合索引
这个我已经试过了，加索引效果甚微，查询效果还是一样的慢。[/quote] 贴上SQL
SELECT
  DEALER_ID,
  DEALER_BUSCODE,
  DEALER_NAME,
  DEALER_STATUS,
  OFFER_ID,
  OFFER_NAME,
  CHANNEL_ID,
  SUB_CHANNEL_ID,
  DISTY_ID,
  DISTY_BUSCODE,
  DISTY_NAME,
  REGION_CODE,
  REGION_NAME,
  O_ACTIVATION_TIME,
  P_ACTIVATION_TIME,
  ACTIVATION_DATE,
  STATE_CODE,
  STATE_NAME,
  PACKAGE_ID,
  PACKAGE_NAME,
  SALES_PIC,
  MSISDN,
  COUNT(1)
FROM UM2_ACTI_DTL_201305
WHERE OFFER_TYPE IN(1,3)
    AND ACTIVATION_TYPE = 3
    AND OFFER_ID IN(20000001,20000031,20010010)
    AND PACKAGE_ID IN(322,197,326,566,318,576,277,374,377,581)
    AND CHANNEL_ID IN(1,2,4)
    GROUP BY DEALER_ID,PACKAGE_ID,ACTIVATION_DATE
[/quote] OFFER_ID CHANNEL_ID 有建索引的话 试下这样： 像这样 内容不多的in你用 = 试试看，如果不行我也没办法了额，不了解业务，也不知道应用场景，不好说。 另： 你这查询返回多少数据？[/quote] in语句的地方用=我也试过，没什么效果。 该查询返回的数据在17w左右
bayougeng 2013-09-04
  • 打赏
  • 举报
 回复
你group by这么多字段……要我是数据库我也想不出来怎么能让你快
无聊找乐 2013-09-04
  • 打赏
  • 举报
 回复
引用 10 楼 uging 的回复:
[quote=引用 6 楼 uging 的回复:] [quote=引用 3 楼 lrbyantai 的回复:] 针对此SQL语句，可在C、D字段建索引，A、B建组合索引
这个我已经试过了，加索引效果甚微，查询效果还是一样的慢。[/quote] 贴上SQL
SELECT
  DEALER_ID,
  DEALER_BUSCODE,
  DEALER_NAME,
  DEALER_STATUS,
  OFFER_ID,
  OFFER_NAME,
  CHANNEL_ID,
  SUB_CHANNEL_ID,
  DISTY_ID,
  DISTY_BUSCODE,
  DISTY_NAME,
  REGION_CODE,
  REGION_NAME,
  O_ACTIVATION_TIME,
  P_ACTIVATION_TIME,
  ACTIVATION_DATE,
  STATE_CODE,
  STATE_NAME,
  PACKAGE_ID,
  PACKAGE_NAME,
  SALES_PIC,
  MSISDN,
  COUNT(1)
FROM UM2_ACTI_DTL_201305
WHERE OFFER_TYPE IN(1,3)
    AND ACTIVATION_TYPE = 3
    AND OFFER_ID IN(20000001,20000031,20010010)
    AND PACKAGE_ID IN(322,197,326,566,318,576,277,374,377,581)
    AND CHANNEL_ID IN(1,2,4)
    GROUP BY DEALER_ID,PACKAGE_ID,ACTIVATION_DATE
[/quote] OFFER_ID CHANNEL_ID 有建索引的话 试下这样： 像这样 内容不多的in你用 = 试试看，如果不行我也没办法了额，不了解业务，也不知道应用场景，不好说。 另： 你这查询返回多少数据？
uging 2013-09-04
  • 打赏
  • 举报
 回复
引用 6 楼 uging 的回复:
[quote=引用 3 楼 lrbyantai 的回复:] 针对此SQL语句，可在C、D字段建索引，A、B建组合索引
这个我已经试过了，加索引效果甚微，查询效果还是一样的慢。[/quote] 贴上SQL
SELECT
  DEALER_ID,
  DEALER_BUSCODE,
  DEALER_NAME,
  DEALER_STATUS,
  OFFER_ID,
  OFFER_NAME,
  CHANNEL_ID,
  SUB_CHANNEL_ID,
  DISTY_ID,
  DISTY_BUSCODE,
  DISTY_NAME,
  REGION_CODE,
  REGION_NAME,
  O_ACTIVATION_TIME,
  P_ACTIVATION_TIME,
  ACTIVATION_DATE,
  STATE_CODE,
  STATE_NAME,
  PACKAGE_ID,
  PACKAGE_NAME,
  SALES_PIC,
  MSISDN,
  COUNT(1)
FROM UM2_ACTI_DTL_201305
WHERE OFFER_TYPE IN(1,3)
    AND ACTIVATION_TYPE = 3
    AND OFFER_ID IN(20000001,20000031,20010010)
    AND PACKAGE_ID IN(322,197,326,566,318,576,277,374,377,581)
    AND CHANNEL_ID IN(1,2,4)
    GROUP BY DEALER_ID,PACKAGE_ID,ACTIVATION_DATE
uging 2013-09-04
  • 打赏
  • 举报
 回复
引用 8 楼 rainbowsix 的回复:
[quote=引用 7 楼 uging 的回复:] [quote=引用 4 楼 rainbowsix 的回复:] 建索引，然后尽可能的过滤掉不符合条件的数据，然后再分组
下面是实际用到的SQL，请帮我看一下，索引什么的已经加过了，没多大效果 SELECT DEALER_ID, DEALER_BUSCODE, DEALER_NAME, DEALER_STATUS, OFFER_ID, OFFER_NAME, CHANNEL_ID, SUB_CHANNEL_ID, DISTY_ID, DISTY_BUSCODE, DISTY_NAME, REGION_CODE, REGION_NAME, O_ACTIVATION_TIME, P_ACTIVATION_TIME, ACTIVATION_DATE, STATE_CODE, STATE_NAME, PACKAGE_ID, PACKAGE_NAME, SALES_PIC, MSISDN, COUNT(1) FROM UM2_ACTI_DTL_201305 WHERE OFFER_TYPE IN(1,3) AND ACTIVATION_TYPE = 3 AND OFFER_ID IN(20000001,20000031,20010010) AND PACKAGE_ID IN(322,197,326,566,318,576,277,374,377,581) AND CHANNEL_ID IN(1,2,4) GROUP BY DEALER_ID,PACKAGE_ID,ACTIVATION_DATE[/quote] 你这样的sql不能执行吧。 除了group by的列 ，其它选择的列必须要有统计函数的吧，类似于sum，average之类的[/quote] 可以执行的，效率比较差
无聊找乐 2013-09-04
  • 打赏
  • 举报
 回复
引用 7 楼 uging 的回复:
[quote=引用 4 楼 rainbowsix 的回复:] 建索引，然后尽可能的过滤掉不符合条件的数据，然后再分组
下面是实际用到的SQL，请帮我看一下，索引什么的已经加过了，没多大效果 SELECT DEALER_ID, DEALER_BUSCODE, DEALER_NAME, DEALER_STATUS, OFFER_ID, OFFER_NAME, CHANNEL_ID, SUB_CHANNEL_ID, DISTY_ID, DISTY_BUSCODE, DISTY_NAME, REGION_CODE, REGION_NAME, O_ACTIVATION_TIME, P_ACTIVATION_TIME, ACTIVATION_DATE, STATE_CODE, STATE_NAME, PACKAGE_ID, PACKAGE_NAME, SALES_PIC, MSISDN, COUNT(1) FROM UM2_ACTI_DTL_201305 WHERE OFFER_TYPE IN(1,3) AND ACTIVATION_TYPE = 3 AND OFFER_ID IN(20000001,20000031,20010010) AND PACKAGE_ID IN(322,197,326,566,318,576,277,374,377,581) AND CHANNEL_ID IN(1,2,4) GROUP BY DEALER_ID,PACKAGE_ID,ACTIVATION_DATE[/quote] 你这样的sql不能执行吧。 除了group by的列 ，其它选择的列必须要有统计函数的吧，类似于sum，average之类的
uging 2013-09-04
  • 打赏
  • 举报
 回复
引用 4 楼 rainbowsix 的回复:
建索引，然后尽可能的过滤掉不符合条件的数据，然后再分组
下面是实际用到的SQL，请帮我看一下，索引什么的已经加过了，没多大效果 SELECT DEALER_ID, DEALER_BUSCODE, DEALER_NAME, DEALER_STATUS, OFFER_ID, OFFER_NAME, CHANNEL_ID, SUB_CHANNEL_ID, DISTY_ID, DISTY_BUSCODE, DISTY_NAME, REGION_CODE, REGION_NAME, O_ACTIVATION_TIME, P_ACTIVATION_TIME, ACTIVATION_DATE, STATE_CODE, STATE_NAME, PACKAGE_ID, PACKAGE_NAME, SALES_PIC, MSISDN, COUNT(1) FROM UM2_ACTI_DTL_201305 WHERE OFFER_TYPE IN(1,3) AND ACTIVATION_TYPE = 3 AND OFFER_ID IN(20000001,20000031,20010010) AND PACKAGE_ID IN(322,197,326,566,318,576,277,374,377,581) AND CHANNEL_ID IN(1,2,4) GROUP BY DEALER_ID,PACKAGE_ID,ACTIVATION_DATE
uging 2013-09-04
  • 打赏
  • 举报
 回复
引用 3 楼 lrbyantai 的回复:
针对此SQL语句，可在C、D字段建索引，A、B建组合索引
这个我已经试过了，加索引效果甚微，查询效果还是一样的慢。
uging 2013-09-04
  • 打赏
  • 举报
 回复
引用 2 楼 xxhhbb1538 的回复:
你确定你这条语句能执行？？？不在聚集函数中的列，全部要出现在group by语句中，你现在的group by 中少了C,D两列，报错了吧
你说的对，我只是举个例子，实际的SQL比较复杂就没有贴出来。 但是假设SQL是正确的该怎么优化呢？实际的需求是按几个字段分组，然后统计出分组中每条记录的条数，该怎么实现？
无聊找乐 2013-09-04
  • 打赏
  • 举报
 回复
建索引，然后尽可能的过滤掉不符合条件的数据，然后再分组
Mysql数据库进阶/引擎/分组/连接/子查询/事务/Django框架的model
本课程是理论和实战相结合的课程。主要讲解以下知识点：通过案例讲解聚合函数/group by分组/having讲解group by分组/having及多表查询通过案例来讲解join连接讲解子查询的实际应用通过多个案例来讲解如何使用join和子查询讲解django框架的models中如何应用多表查询
第49讲：SQL优化之GROUP BY分组查询的优化
观察执行计划，在Extra中还看到了Using temporary，这是因为nl字段是不是最左侧的索引字段，不满足最左前缀法则导致的。观察执行计划，可以看到Extra中显示的是Using index，只要查询条件或者分组条件中包含最左侧索引，效率就可以很高。观察执行计划的输出，可以看到在Extra中显示的是Using temporary，表示通过临时表查询的数据，效率较低。在GROUP BY分组查询的优化中，最主要的优化就是添加索引，通过索引来提升分组查询的效率。
mybatis group by 分组查询：将返回结果封装为map
文章目录1. 最简单但性能最差的做法2. 使用group by分组查询，将查询结果封装成类3.group by分组查询，将结果封装为map。直接封装为map？List1. 最简单但性能最差的做法 在逻辑层分多次对数据库进行查询。伪代码如下。 List<String> nameList ; List<Integer> countList; for(String name: nameList){ countList.add(xxDao.countByName(name)); } map
sql利用groupby 提高查询效率
要统计本月活跃用户在次月的活跃情况，由于表太大，如果是简单的写一个：select count(distinct id) from a where exists (select 1from a where id=id)查询会比较慢。假如先把用户 groupby 下，再统计，时间会缩短为原来的10%左右。亲测可以。 select count(1）from （ select i...
八、分组查询（group by）
本文转载至：https://www.jianshu.com/p/fb1c7bc4da39 一、概要 Group By语句从英文的字面意义上理解就是“根据(by)一定的规则进行分组(Group)”。它的作用是通过一定的规则将一个数据集划分成若干个小的区域，然后针对若干个小区域进行数据处理。 如果在查询的过程中需要按某一列的值进行分组,以统计该组内数据的信息时,就要使用group by子句。不管sel...
Web 开发

81,092

社区成员

341,716

社区内容

发帖
与我相关
我的任务
社区描述
Java Web 开发
社区管理员
  • Web 开发社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章