海量数据的处理

[chlei]

数据量非常大，一年下来可能有几千万的记录数量，如果按时间查询的话应该会很慢，应该如何处理呢

[net_steven]

海量数据要用海量处理速度的服务器，所谓软硬兼施嘛！不能单纯依靠软件技术，
这也是常识，非要瘦驴拉硬屎—也只好忍耐将就喽！

[xhfjy]

呵，我也有这问题

[chlei]

那你解决了没有呢

[laser]

1。如果你的空间足够的话，建立聚簇类型索引
2。如果你使用oracle8 for unix,将数据分区
3、如果可能，根据需要优化查询语句，

[sbks]

换硬件，加内存，把大数据量表放到内存去，1G内存够了吧

[mmzxg]

使用视图，存储过程处理

[jassonlu]

1建有效索引，
2使用分区表，
3优化数据库

[IronPromises]

将数据流大的表尽可能地分流.
分成年表或是月表之类.

比如说有表叫TradeMaster,
那幺2000年的元旦根据后台的JOB以基表TradeMaster的结构生成
TradeMaster2000,当年对该表进行写操作.

到了2001年的元旦根据后台的JOB以基表TradeMaster的结构生成
TradeMaster2001,当年对该表进行写操作.

不过这样就要动态写操作,做报表时也要动态查询,动态union.

如果你是用Java,VC之类开发的,那幺程序不要改动太多,但如果你是用像pb这种支持嵌入式SQL的工具
就得把SQL改成动态SQL,datawindow也要用dw_1.setsqlselect(…)之类的技术处理

[chlei]

数据采集是按分钟来取的，每分钟一条纪录
如果按一般的设计，只有一个表用来记录数据，但是如果从一个表里查数据肯定会很慢的，即使时建了索引，如果按月分流的话，一个月也有几百万条数据，速度也不会快到哪里去吧

[ClassDialog]

添加索引

[OUYAN]

如一次更新量很大，更新前，最好先删除索引 ，再建索引
还可以将特别大的表放在多个磁盘上。