请问：类似淘宝那样快速筛选数据是如何做到的？

gnhao144 2011-09-06 11:04:39

我想淘宝的数据上亿。上十亿了吧。但是选择商品。按xx筛选与按xx排序的时候。速度很快。请问是如何做到的？
如今我也有个程序。基本上可能会按每个字段筛选与排序。。

比如table(id,date,price.....)
我可能按哪一天来显示。也可能按价格显示。还有xxxx。有朋友给个思路否？

...全文

561 23 打赏收藏转发到动态举报

写回复

用AI写文章

23 条回复

切换为时间正序

请发表友善的回复…

发表回复

gnhao144 2011-09-13

打赏
举报

[Quote=引用 12 楼 sp1234 的回复:]
你所说的“几亿、十亿数据”是同一类数据吗？如果不是，那么有什么查询是把不同类数据都放在一起一股脑查询呢？对于同类数据，有几个人不关心索引就去搞什么查询呢？

最后（但绝非不重要），假设在合理的依赖控制范围内，多次（成百上千次）相同的查询难道是都要重复去访问数据库吗？
[/Quote]
高人？不指教了？

x363961461 2011-09-07

打赏
举报

你要实现的东西远远没有你想的那么复杂。
当你要实现的东西真的复杂到跟google和淘宝一样时，那么自然会有资金来请人解决。

gnhao144 2011-09-07

打赏
举报

http://backlinks.alivv.com/autowebsite.aspx就是类似这样的。

hen_ai_hen_ai_ni 2011-09-07

打赏
举报

商品的页面本身都已经生成好了（其实画面中的数据是通过js取出来的），描述商品的应该是单独存储的表，字段包括种类啊，名称啊，url啊，商品标题啊，时间啊，反正全是索引的字段，当然这个表绝对不可能一个就搞定了，包括活跃度什么的，反正处理不是这么简单，taobao的人来给解释一下就好了，估计taobao的一般程序员们根本了解不到这么底层

baysos 2011-09-07

打赏
举报

索引文件，分布式，表分割类似。具体不知道

moonwrite 2011-09-07

打赏
举报

没有必要取全部你有没有看销量都是这么描述的 30天的销量

简单来说淘宝把只取最近30天+前4000条的各种排序然后缓存在内存中（当然内存不是我们的pc 4g 8g什么的）
应该是很大的服务器.....

danjiewu 2011-09-07

打赏
举报

google速度更快呢
简单点就建索引吧，所有可能要过滤排序的字段都加上

diecode 2011-09-07

打赏
举报

有一层楼，全是服务器

ASPNETCHENGXU 2011-09-07

打赏
举报

淘宝的的数据处理远比我们想象的要复杂，n多服务器是必须的

以专业开发人员为伍 2011-09-06

打赏
举报

你所说的“几亿、十亿数据”是同一类数据吗？如果不是，那么有什么查询是把不同类数据都放在一起一股脑查询呢？对于同类数据，有几个人不关心索引就去搞什么查询呢？

最后（但绝非不重要），假设在合理的依赖控制范围内，多次（成百上千次）相同的查询难道是都要重复去访问数据库吗？

langxingcs 2011-09-06

打赏
举报

用的搜索引擎吧。只有最后才用到数据库

MSDNXGH 2011-09-06

打赏
举报

要筛选吗？

不是分类好了吗？

要筛选又是不是同情况

MSDNXGH 2011-09-06

打赏
举报

实际上，就算再N多数据，也是分类好的啊，只需知道就选择类型的总行数，第一页数据就得了，总行数来个分页，然后显示当前页数据。当页也就十几个商品而己

MSDNXGH 2011-09-06

打赏
举报

准确点，应该是分布式吧，N多服务器，

IE11下面经常卡到爆 2011-09-06

打赏
举报

分区表 + 全文索引 + 静态页

gnhao144 2011-09-06

打赏
举报

[Quote=引用 3 楼 x363961461 的回复:]
至于你说的排序，筛选等还是很好做的。十几万数据也轻轻松松。就是 sql语句分页，搜索，排序。

你注意淘宝一次只显示100页商品，其实也就几千条数据。
[/Quote]
并不是说没那个实力去显示。而是一般人都不会翻到100页之后。就像百度google也一样。一般显示搜索结果有几百万。但显示也就几十页。因为大部份人不会去翻到上万页之后查看。

gnhao144 2011-09-06