使用group by去重速度变的好慢怎么加快速度

sinat_37552373 2020-04-16 05:50:05

SELECT id, FROM `uchome_news_list` WHER batch_id <>'' group by batch_id order by id desc limit 0,20
我想去重，但是用了group up之后速度变得很慢了

...全文

544 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

horizon_zpy 2020-04-17

打赏
举报

回复

order去掉
另外可以用distinct去重

课程目录：第0节：四个主流数据源框架介绍第一节：数据源框架速度大比拼第二节：股票实时数据和分钟数据的获取第三节：资金都去哪了——个股资金流向第四节：资金都去哪了——其它资金流向第五节：寻找主力踪迹——龙虎榜数据解读第六节：寻找主力踪迹——大宗交易数据解读第七节：了解你买的票吗——主营业务构成第八节：了解你买的票吗——股东构成第九节：谁给的私房钱最多——分红配股第十节：价值投资——财务报表第十一节：跟上板块轮动的节奏第十二节：特色数据——千股千评第十三节：特色数据——把握宏观经济脉搏第十四节：特色数据——新闻大事情感分析通过该课程您将学到：- tushare/akshare/efinance/qstock框架的使用- pandas打印完整数据- pandas apply方法的使用- pandas列条件判断和sum方法的使用- pandas merge方法的使用- pandas corr方法的使用- pandas groupby方法的使用- 使用Tabulate框架输出markdown格式- pandas reset_index方法的使用- pandas pivot_table方法的使用- 使用pyecharts画图- pandas contains 方法的使用- DataFrame转成Series- 分词和情感分析

distinct去重 select count(distinct(column1)) from 表名 where column3=20210611; group by去重 select column1, count(1) from 表名 where column3=20210611 group by column1;

group by去重，按条件去重

distinct简单来说就是用来去重的，而group by的设计目的则是用来聚合统计。单纯的去重操作使用distinct，速度是快于group by的。distinct 是针对要查询的全部字段去重，而 group by 可以针对要查询的全部字段中的部分字段去重，它的作用主要是：获取数据表中以分组字段为依据的其他统计数据。两者执行方式不同，distinct主要是对数据两两进行比较，需要遍历整个表。

1、group by 理解：从一个例题开始：已知表格：Product(maker, type, model)Get the makers who produce only one product type and more than one model. Output: maker, type.即找出：1个type，>1个model的maker，输出： maker, type答案：selec...

21,887

社区成员

140,363

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章