向高手寻求解决方案

[tobato]

我们目前有一个项目：
用Sybase,有一个表里一个月的纪录数以4*400万增长！
而客户要求对上一年的数据作查询，怎样可以优化系统？是否要用到
数据仓库的技术？
请高手指点！

[Tommy Chang]

怎样的查询？

:)

[Tommy Chang]

另外插入和删除有多频繁，量有多大？如果查询很简单的话，不需要数据仓库

:)

[tobato]

对检索一年以上，两年以下的历史数据！

而且要求数据库的插入删除比较快

[newskysh]

可以采用数据仓库系统，在设计的过程中，挖掘完后需采用数据转移或者删除的策略，这个要根据客户的要求来做自动删除程序，如果是UNIX系统可以用SHELL编程实现自动优化的过程；
同时，在由数据库经“数据抽取”后到数据仓库时，必须清理一些数据，使“脏数据”尽量减少，加快系统的效率！所以采用数据仓库的话，肯定不能原搬原数据库的数据！！！

[yongwc]

进一步分析,他要查询什么样的数据? 是对历史数据进行统计还是要查询细节?

[yuanque]

数据仓库的技术其实要么表现在前端，但主要表现在后端。后端诸如采用MOLAP存储，主要提高的复杂查询的速度。如果数据量大，其查询还是要慢的。前端的话，就是将一部分经常查询的数据直接存储到前端（BRIO可以这样做），用以提高查询速度。好像SYBASE提供的关系型数据仓库存储技术里，有位索引的概念，用以提高检索速度。

[newskysh]

对，在SYBASE iq里有关于位索引的知识，可以采用syabse iq 做数据仓库！

[laohao]

我想应当具体分析一下，查询上一年的数据是统计数据？（聚合、汇总后的），还是必须查询细节（甚至到每条记录），这个很重要，如果采用数据仓库技术，那么涉及仓库的数据粒度的问题。对于多维分析(olap)来说，不适合查细节，可以把这部分工作交给基础数据仓库，或者ODS完成，但是数据量的剧增，不会有太好的响应时间。

[tobato]

谢谢楼上各位！
果然都是高手！ 我们继续:

因为客户的需求是随时更改的，因此，很有可能查询到具体每一个人的细节
数据，比如我在银行要查我这一年的帐户变更情况！

数据每一个月的具体增长情况和数据库里每一个人的记录数量成 （N*人数）的比例，N<=4，那么如果我有300万人的话。数据还是很吓人的。