关于大数据量统计，大家有什么好的解决方法吗

sj13483162817 2018-07-10 09:30:03

我目前的做法是全部查到内存，再进行运算，但是经常内存溢出，不知道大家平时是怎么弄的，数据量大概在1千w

...全文

384 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

grace8 2018-10-08

打赏
举报

回复

两种思路：1，如果要全部读取到内存再计算，有钱的话，那就升级内存！2,把查询条件放在sql语句里，返回计算的结果。
参考深入理解MySQL

1.尽量在sql实现group分组，数据库虽然要进行分组运算，但是数据库中有索引，运算速度快，且取到报表服务器端的记录数大大减少，取数速度大大加快，因此在报表端进行分组运算的时候只要对很少的记录数进行，报表的运算速度大大加快了。 2、修改背景色的表达式尽量少采用row()，比如在每一行的一个格子里算出来行号，然后在背景色表达式判断。背景色的奇偶行判断，比如：if(row()%2==0,-...

大数据量实时统计排序分页查询(并发数较小时) 的瓶颈不是函数（count，sum等）执行，不是having, 也不是order by，甚至不是表join, 导致慢的原因就在于“数据量太大本身” 化整为零就是将表划分为M份相互独立的部分,可以是分表，也可以是不分表但冗余一个取模结果字段实际结果是不分表比分表更加灵活，只需稍加配置，就可以动态切分大表，随意更改M的大小。将1条...

mysql大数据量方法优化

数据量很大的排序问题大量数据如何排序【尊重原创，转载请注明出处】http://blog.csdn.net/guyuealian/article/details/51119499 同学某天参加腾讯面试，技术面的时候，面试官问了排序问题：问题一：若有1T的数据，需要实现由大到小排序，你用什么办法，说说你的思路和想法？问题二：有10个G的数据，如果

大数据量下高并发同步的讲解（不看，保证你后悔）对于我们开发的网站，如果网站的访问量非常大的话，那么我们就需要考虑相关的并发访问问题了。而并发问题是绝大部分的程序员头疼的问题，但话又说回来了，既然逃避不掉，那我们就坦然面对吧~今天就让我们一起来研究一下常见的并发和同步吧。为了更好的理解并发和同步，我们需要先明白两个重要的概念:同步和异步 1、同步和异步的区别

数据库报表

6,108

社区成员

4,750

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章