表的数据量很大，怎么处理？

[holdup20080808]

1、表结构有3个字段：ID，DATETIME, VALUE
2、每天会产生500万条记录,因此按天进行分表,表名TABLE_YYYYMMDD，也就是每天产生一个表来存储当天的数据。

一年后产生了365个表，我想对整年记录的VALUE值进行排序，取排序后的记录中的任意一段连续的100条记录怎么查呢，是不是分表有问题？效率如何保证？求解！

[moray126]

不适合用关系数据库

[飃颻]

合併不易出錯，問題是量放得太大，不容易把握。
用文本文件處理大約是GB數量級。

[holdup20080808]

[Quote=引用 6 楼 lxyzxq2008 的回复:]

引用 3 楼 huaqin 的回复:

引用 2 楼 bin3509 的回复:

弄个时间分区

分区后对365个表进行联合查询速度能提升多少？
分区了，就没必要联合查询了啊？
需要那段就查那个分区，不需要在意其他的分区，这样你的速度就快多了啊
[/Quote
我没有用过分区，你的意思是分区后就不需要分表了是吗？比如如果不分表一年后一个表的数据就有72亿条记录，一个72亿行记录的表在分区的情况下，我要按某字段的值进行排序然后取某期间的值能保证效率吗？注意的是这里涉及到排序，记录的值可能是零散的分布在不同的分区里的。

[断剑1989]

关注下，这个问题还是有点意思的，望大侠出现。

[ICE-word]

我这边说的时间分区只是让你查询一些数据速度变快！至于你数据的存储转移，根据分区来转的话！也会快很多，

[stone_zhao]

做个物化视图吧。

[stone_zhao]

在检索前收集统计情报也可以大幅提高性能。

    DBMS_STATS.GATHER_TABLE_STATS(
        OWNNAME       => 'schema'
        ,TABNAME      => 'table_name'
        ,METHOD_OPT   => 'FOR ALL INDEXED'
        ,CASCADE      => FALSE
    );

    DBMS_STATS.GATHER_INDEX_STATS(
        OWNNAME   => 'schema',
        INDNAME   => 'index_name'
    );

[holdup20080808]

[Quote=引用 11 楼 bin3509 的回复:]

我这边说的时间分区只是让你查询一些数据速度变快！至于你数据的存储转移，根据分区来转的话！也会快很多，
[/Quote]
不涉及到存储转移，就是只考虑查询速度能提升快多少，因为现在要求基本都是1秒内查询完成。

[holdup20080808]

[Quote=引用 13 楼 stone_zhao 的回复:]

在检索前收集统计情报也可以大幅提高性能。
SQL code

DBMS_STATS.GATHER_TABLE_STATS(
OWNNAME => 'schema'
,TABNAME => 'table_name'
,METHOD_OPT => 'FOR ALL INDEXED'
,CASCADE……
[/Quote]
什么意思，能说详细点吗？没看明白

[ICE-word]

对呀!建时间分区。。然后根据你要查询的数据，根据时间点查询，那样会快非常多！！。

[stone_zhao]

[Quote=引用 15 楼 huaqin 的回复:]
引用 13 楼 stone_zhao 的回复:

在检索前收集统计情报也可以大幅提高性能。
SQL code

DBMS_STATS.GATHER_TABLE_STATS(
OWNNAME => 'schema'
,TABNAME => 'table_name'
,METHOD_OPT => 'FOR ALL INDEXED'
,CASCADE……

什么意思，能说详细点吗？……
[/Quote]
简单说就是让oracle知道表里有什么样的数据（统计情报），这样在检索时可以加快速度。
你把上面的语句中的schema名和表名换成你的，执行就可以了。

[holdup20080808]

[Quote=引用 16 楼 bin3509 的回复:]

对呀!建时间分区。。然后根据你要查询的数据，根据时间点查询，那样会快非常多！！。
[/Quote]
问题就在这里，查询条件是可以选的，时间部分用户选的是全年的排序数据，但因为数据量大我按照月进行了分区，我整年的查能快吗？

[holdup20080808]

[Quote=引用 17 楼 stone_zhao 的回复:]

引用 15 楼 huaqin 的回复:
引用 13 楼 stone_zhao 的回复:

在检索前收集统计情报也可以大幅提高性能。
SQL code

DBMS_STATS.GATHER_TABLE_STATS(
OWNNAME => 'schema'
,TABNAME => 'table_name'
,METHOD_OPT => 'FOR ALL INDEXED'
,CAS……
[/Quote]
我试试

[ICE-word]

建了分区字段后！假如你是分4个季度分区，可以where 分区字段 between 季度1 and 季度4

[holdup20080808]

[Quote=引用 20 楼 bin3509 的回复:]

建了分区字段后！假如你是分4个季度分区，可以where 分区字段 between 季度1 and 季度4
[/Quote]
有做过测试吗，这样性能能提高多少？因为我理解最终oracle还是要从4个分区中拿到所有数据进行排序（或许4个分区放在不同的物理机上可以减轻磁盘的IO压力吧，但是这样不会不会同时增加了网络IO的压力呢），如果只是对其中某分区查询是会提高速度，因为实际上相当是单表数据量变少了。

[soft_2012]

额。这个就不好说了。飘飘

[cxw3152]

按照数量分区

[holdup20080808]

[Quote=引用 24 楼 cxw3152 的回复:]

按照数量分区
[/Quote]
还是那个问题，我分区后和分区前对全部数据（包括所有分区的数据）进行排序查询，性能有多大的提升？

[wangjn1982]

分区字段可以是VALUE，这样的话全年的记录会按照VALUE的值插入到不同的分区，然后在分区内排序

[holdup20080808]

[Quote=引用 26 楼 wangjn1982 的回复:]

分区字段可以是VALUE，这样的话全年的记录会按照VALUE的值插入到不同的分区，然后在分区内排序
[/Quote]
因为用户也会选择某时间段（如跨几个季度）进行排序查询，此时如果纯粹按照VALUE进行分区的话还是会跨越几个分区进行排序查询的