按时间分表查询问题

2015-03-02 05:41:44 490 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

ShardingSphere分库分表----取模和按日期分表 shardingjdbc分库分表----取模和按时间分表每天多学一点点~ 话不多说，这就开始吧… 文章目录shardingjdbc分库分表----取模和按时间分表1.前言2. 取模分库分表配置3. 分片策略简介4. 根据日期分库分表配置5.结语 1.前言最近有个业务需要分库分表，遂研究了下sharing。网上列出了一些取模的分库分表实现，但是按照时间分库分表，或者二者结合的很少，遂在这里记录一下。 shrdingsphere官网各位有兴趣的去官网看看，中文的。。。 JDBC 定位为轻量级 Java 阅读详情

比如1个月一个表,表结构简单 (id,商户号,时间,数量) 表示某个商品某天的销量
那么现在我要查询a月分到b月分的所有商户销量报表结构如下
商户号,时间,数量

由于数据量大,使用数据分页,一页显示10条, 如果以商户号排序到是很好理解,也很好操作,我可以先在商户表里面查询出要显示哪10个商户,然后再到数据表里面选择这些商户的数据.

但是现在问题来了,如果用户想要通过数量排序来分页呢?怎么办,难道把各个表里面数据查入到一个表里面再来计算分页等等?
求大神支招.

...全文

Tesseract in Java - Intellij IDEA对Tess4J的配置和使用最近要弄OCR，搜到这个，官网全英文，很烦，看看有没有中文的博客介绍，擦，一个比一个奇葩，还是自己按照官方的来吧，外网慢的很，传到csdn给大家下载。中文训练库下载地址: http://download.csdn.net/detail/d_dmelon/9916532Tess4J3.4下载地址: http://download.csdn.net/detail/d_dmelon/9916519安装阅读详情

gw6328

疑难问题 22,298 成员 121,727 内容

+ 关注 + 加入社区

切换为时间正序

gw6328 2015-03-09

打赏
举报

结了吧.这些功能同需求人员有关系,他们认为数据必须要一定准确才行,甚至要查几年的数据都要精确. 然后他们又要性能好,世间难得两全法啊. 楼上10#,2#思想都可能,但是具体公司里面操作不一样.没办法. 现在我基本是决定第一版不让他们排序,只按一种排序方式来取,可以解决这种问题. 如果客户非要排序,我只能用union 或者放入临时表处理,但是这里注意,分表是存在意义的,不是单纯的将几个表 select * from t1 union all select * from t2,而是存在先汇总的情况,也就是select c1,c2 from t1 group by c1 然后union all 或者是放入临时表,等几个表处理完了再汇总记录,这里表也要注意粒度吧.现在我们是3个月一张表吧.

还在加载中灬 2015-03-03

打赏
举报

你是说，旧的月份的数据也有变的可能性? 处理方式，我觉得可以从几点出发 1、忽略不计，还是按照定时存储旧数据统计结果的方式。考虑的出发点是，一：如你所说可能性比较小，二：一般看统计信息，特别是旧的数据，一般只是想了解个大概，即使有细微的差别，也不会影响决策。用这个方法，可以保证有较高的效率。但是你必须让用户知道旧的数据，可能不是最新的，并可以提供一个主动的，类似刷新旧数据统计为最新的功能。 2、时间上的挪移，每次数据变更的时候，实时加减统计信息，虽然保存的时候麻烦了点，那查询统计时是很方便的。 3、实时统计所有表信息，可以加到临时表，也可以用派生表，把所有表的关注信息UNION ALL到一起，再汇总分页，数据量大的时候，我想应该不可取。

gw6328 2015-03-03

打赏
举报

现在我感觉没有办法了.可能每个表都要汇总,然后再到一个表里面统计. 因为这个数据也不是完全静止的,可能变动,只是变动的可能性很小- -!

还在加载中灬 2015-03-03

打赏
举报

引用 4 楼 jinfengyiye 的回复:

我找到一个新的方法,大家一起研究一下. 比如我要查询数量从大到小前10条. 那么我先把各个表(条件内)的前10条都查出来,最后取大的10条如果第二页就用各表前20条,排序取第二页的数据,这样是不是对的? 我想了想前10条好像没有问题,那么前20条好像也没有问题.

貌似不行，有这种可能，每个月不在前10的商户，却，在所有月份加起来数量总和在前10里面的情况。如果你这个统计【商户号,时间,数量】经常用到的话，或者虽然不是经常用到但数量却非常大的话，建议把旧的月份定期统计好存储起来，要查的时候，直接查统计好的，结合最新的，即可。这样只需要实时统计最新的那个月份的数据，这就是2楼的空间与时间的转换的方法。