讨论下：你碰到的业务系统中，报表统计功能如何组织

vinsonshen 2009-07-01 11:50:13

加精

在很多业务系统中，往往涉及报表数据统计的功能，这些统计功能往往根据不同的行业、不同的分析角度而进行，不过，其相同点都是对业务明细数据根据需求进行各种统计汇总组合。这些功能在业务数据量较少的前期，一般没什么性能问题，但随着时间、业务的发展，数据量越来越多，而之前的一些速度很快的报表功能会变得越来越慢。这些现象估计有比较多人员在实际中碰到，所以，现在想看看各位日常中是如何解决这种问题的，最好包括从明细数据的组织、报表结果的数据如何组织、功能架构的原理逻辑等一系列的角度说明下。
另外，在数据仓库、数据挖掘等领域，数据量那么大，类似上述的现象问题又是如何解决的？

欢迎大家将实际中的上述类似问题的解决方案分享下，谢谢！

ps:
可用分不多，倾我所能了。

...全文

1573 48 打赏收藏转发到动态举报

写回复

用AI写文章

48 条回复

切换为时间正序

请发表友善的回复…

发表回复

刘兄弟 2011-11-19

打赏
举报

亲。。。我给你一个很牛逼的解决办法，增加新员工专门处理明细表。
我们这里就是每天1KW的数据记录。。。

这样可以增加就业率，可以增加认识小妹的机会，还可以。。。。。真的，很好的。
最关键的是。。。你做事儿了。自己吃饱不算，让天下人都吃饱，这个才是好的啊。

zmbob66 2011-11-01

打赏
举报

真是好帖啊！

zerosoftware 2010-08-10

打赏
举报

xiexie

cgcjr 2010-08-05

打赏
举报

要好好看看~！

tlcyw 2010-01-04

打赏
举报

本文提出的问题，本人在1995年时候就感觉到，但是一直没有找到更加合理的方法，多数做数据库开发的人，一般不考虑后期数据量变大的问题。因为这个问题是在程序使用一段时间，更准确的说是使用了3年或5年以后以出现的，所以很容易被大家忽视。数据量的增加造成查询历史数据耗费时间加长，只有在先期合理的进行设计才能合理的解决这个问题。我在人民银行上班，我们国库用的核算系统，使用的sybase数据库管理系统，数据量确实很大，它处理的方法是把上一年的数据库转成历史库，也就是一年一个数据库，用那一年的就恢复那一年，非常方便，要不没个整！
我感觉要想以后不遭罪，必须先期受点累，其实最重要的还是多看看大型企业或机关的信息系统，如银行、电信、铁路等用的系统，可能你就会在数据仓库管理方便上一个很大的台阶！

zhangzhipingxb 2009-11-29

打赏
举报

非常值得学习

learningaginlearnin 2009-10-12

打赏
举报

非常值得学习

tianhe1314 2009-09-24

打赏
举报

分析的很透切！！！

kisler 2009-07-31

打赏
举报

我也遇到过相似的问题，其实我的解决方式很简单，楼主可以参考一下：以前的陈年老数据可以做一个数据库归档，归档方法很多，我是建立另一个库，将陈年数据放到新库里面，再在相关数据表上建一个分区视图，这样不影响用户的数据查询，报表统计的性能也提升了。

mnyh11 2009-07-17

打赏
举报

不错，学习了

ljf_ljf 2009-07-16

打赏
举报

[Quote=引用 32 楼 vinsonshen 的回复:]
1、物理组织上：
分表（区）、同库、分库、分服务器等；
2、处理逻辑上：
直接查询、采用一般固定式的中间表、采用基于数据仓库的数据中间表（易扩展）等；
3、其它：
表字段数据类型优化、数据表关系设计优…
[/Quote]

楼主：
这些内容都是一些固定的手法，具体方案选择要多方面来决定没有一个固定形式。

flairsky 2009-07-15

打赏
举报

一般按某一用户可变粒度在闲时生成报表，一般不会是即时生成。

报表嘛，肯定是落后于实际的。你如果要及时报表，那统计的数据是不完全的

hitexam 2009-07-15

打赏
举报

哎，目前我做的一个系统初期数据量不是很大，但日积月累那数据也是相当的庞大，系统如何设计好呢？

hbhgsy 2009-07-13

打赏
举报

我倒是觉得现在要是有一种系统的解决问题的方法就好了。这个系统要具备这样几个功能：
1、收集数据。能够根据需要，方便的生成收集数据的页面。（带导出excel表格）（当然要有用户管理、授权的功能）
2、储存数据。
3、分析数据。

jiahehao 2009-07-13

打赏
举报

只能具体问题具体分析，没有一定之规。

vinsonshen 2009-07-13

打赏
举报

欢迎大家继续指点！

vinsonshen 2009-07-13

打赏
举报

[Quote=引用 31 楼 ljf_ljf 的回复:]
楼主看你讲内容就知道你走入了一个误区......
[/Quote]

其实你后面提到的那些点，都是在我前面问的解决方案的一部分，你这些方面都是从大的角度去论述。
如果要细一点，我觉得可以如下：
1、物理组织上：
分表（区）、同库、分库、分服务器等；
2、处理逻辑上：
直接查询、采用一般固定式的中间表、采用基于数据仓库的数据中间表（易扩展）等；
3、其它：
表字段数据类型优化、数据表关系设计优化、索引优化、SQL写法优化、硬件资源的优化、任务调度的资源均衡等;

ljf_ljf 2009-07-13

打赏
举报

[Quote=引用楼主 vinsonshen 的帖子:]
在很多业务系统中，往往涉及报表数据统计的功能，这些统计功能往往根据不同的行业、不同的分析角度而进行，不过，其相同点都是对业务明细数据根据需求进行各种统计汇总组合。这些功能在业务数据量较少的前期，一般没什么性能问题，但随着时间、业务的发展，数据量越来越多，而之前的一些速度很快的报表功能会变得越来越慢。这些现象估计有比较多人员在实际中碰到，所以，现在想看看各位日常中是如何解决这种问题的，最好包括从明…
[/Quote]

楼主看你讲内容就知道你走入了一个误区；
一个系统肯定有它能承受能力设计，在设计系统时候就应该对业务量和数据量有所评估。
当业务量和数据量开始飙升或者差不多超过系统能承受压力时候，我们必须改善或者修改系统架构来解决，不是增加一两个表就可以解决了。

当报表速度慢了，我们首先是检查问题出现原因。是SQL 不优化？还是系统数据量太大超过我们估算？是否服务器配置不好等等。
若SQL 不好，可以优化；若数据量太大，之前没有考虑数据量到，只能临时增加一些机制来快速解决，如：每个月对某些特定数据进行统计；若服务器不好，就要求买；出现问题原因很多；但可以总结为：系统使用初中期出现的问题，一般都是SQL不优化和对系统数据量评估不足。到了系统使用后期就是数据量爆炸性增加，系统需要修改架构。