Google、百度等网站查询返回大量结果,类似的分页机制是如何实现的?

Peter_A 2015-06-19 05:58:40
Google、百度这样的搜索网站,每次搜索都会产生大量的结果,并且对结果进行分页处理。针对这样大规模的数据,该怎样设计高效的分页机制呢?
...全文
483 5 打赏 收藏 转发到动态 举报
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
Peter_A 2015-06-21
  • 打赏
  • 举报
回复
引用 1 楼 jdmake 的回复:
分页一般不超过100页!超过了就抛弃不显示!这是硬伤!你可以看看百度!分页有超过100吗!任何一家都不会超过的! 100页以后基本上就是超级慢查询
是的,看了两个搜索都是到76页就没了
jdmake 2015-06-20
  • 打赏
  • 举报
回复
分页一般不超过100页!超过了就抛弃不显示!这是硬伤!你可以看看百度!分页有超过100吗!任何一家都不会超过的! 100页以后基本上就是超级慢查询
  • 打赏
  • 举报
回复
举个例子,假设有人查询“mh370 最新 沉船"这样的查询关键词,假设1天当中有10000个请求第20到地29条记录,有6000个请求是请求第20到地39条记录,那么只要到后端应用去查询两次,而剩下的15998次查询都是去缓存的。直到后端系统通知这些与mh370相关的缓存失效,才会去查询后端系统。
  • 打赏
  • 举报
回复
除此以外,对于查询内容的签名相同的请求,在服务器端有缓存。有95%以上的请求都到不了后端应用去查询,都在前置机上直接拿缓存就行了。
  • 打赏
  • 举报
回复
晕! 分页是一个表现层机制。例如要显示第10页,就向服务器请求“第90到99条记录”就行了。服务器端根本不分页,只排序。 而排序,这正是搜索引擎要干的“主营业务”。它用上万台服务器,运算7、8个小时,目的就是排序。它自然已经保存好了能够快速抽取排序结果的数据了。

25,980

社区成员

发帖
与我相关
我的任务
社区描述
高性能WEB开发
社区管理员
  • 高性能WEB开发社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧