大数据商品表查询优化(二):优雅的商品分页第一步

沈逸 2023-01-12 14:43:34
...全文
101 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
后端：千万级数据深分页查询SQL性能优化实践
Limit深分页问题的本质原因就是：偏移量（offset）越大，mysql就会扫描越多的行，然后再抛弃掉，这样就导致查询性能的下降。具体做法方式是，查询粉丝列表中按照自增主键ID倒序查询，查询结果中返回主键ID，然后查询入参中增加maxId参数，该参数需要透传上一次请求粉丝列表中最后一条记录主键ID，第一次查询时可以为空，但是需要查询下一页时就必传。由于同一个业务对象的所有粉丝都保存到一张数据库表中，对于分页查询列表接口，首先想到的就是用limit实现，对于粉丝数量很少的关注对象，查询接口性能还不错。
千万级数据深分页查询SQL性能优化实践
Limit深分页问题的本质原因就是：偏移量（offset）越大，mysql就会扫描越多的行，然后再抛弃掉，这样就导致查询性能的下降。具体做法方式是，查询粉丝列表中按照自增主键ID倒序查询，查询结果中返回主键ID，然后查询入参中增加maxId参数，该参数需要透传上一次请求粉丝列表中最后一条记录主键ID，第一次查询时可以为空，但是需要查询下一页时就必传。由于同一个业务对象的所有粉丝都保存到一张数据库表中，对于分页查询列表接口，首先想到的就是用limit实现，对于粉丝数量很少的关注对象，查询接口性能还不错。
用Java优化千万级大表分页查询：干货满满的实战指南
处理千万级数据表的分页查询，听起来就让人有点腿软。为什么？因为数据量大了之后，传统的分页方式，比如 OFFSET 和 LIMIT，在性能上会直接“翻车”。想象一下，数据库得扫描前N页的数据，哪怕你只想要第100页的10条记录，这效率低得让人抓狂。以MySQL为例，假设你用 SELECT * FROM large_table LIMIT 10 OFFSET 1000000 来查询第100001页的数据，数据库会：扫描前1000010条记录，然后丢弃前1000000条，只返回最后10条。如果表结构复杂、索引不合
SQL：千万级数据深分页查询SQL性能优化实践
如何在Mysql中实现上亿数据的遍历查询？
大数据架构师必看：MongoDB性能优化全攻略
（示意图：MongoDB性能优化金字塔，基础为数据模型，中层为索引与查询，顶层为架构与硬件）
沈逸的课程社区_NO_1

1

社区成员

259

社区内容

发帖
与我相关
我的任务
社区描述
普通的创业中的程序员
社区管理员
  • 沈逸
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章