34,587
社区成员
发帖
与我相关
我的任务
分享求解决方案
公司正在做的一个项目
将来数据量可能非常大
客户端每请求一次，就会有一条记录，日数据估计几千万，甚至上亿，字段大约10来个，里面的数据会按各种条件进行汇总
自己想到下面3个方法
1.每天自动创建一个表存储当天的数据，时时汇总，半夜就把数据移到另一个服务器的历史数据库
2.按小时创建24张表，自动汇总前一个小时的数据，然后移动到历史数据库，然后清除数据。
3.使用SQL2008的分区功能，貌似要多个硬盘才能体现性能
24张表分散了数据，应该性能最好，单表2-3000W的数据，速度应该还行
求方案，谢谢！
将来数据量可能非常大
客户端每请求一次，就会有一条记录，日数据估计几千万，甚至上亿，字段大约10来个，里面的数据会按各种条件进行汇总
自己想到下面3个方法
1.每天自动创建一个表存储当天的数据，时时汇总，半夜就把数据移到另一个服务器的历史数据库
2.按小时创建24张表，自动汇总前一个小时的数据，然后移动到历史数据库，然后清除数据。
3.使用SQL2008的分区功能，貌似要多个硬盘才能体现性能
24张表分散了数据，应该性能最好，单表2-3000W的数据，速度应该还行
求方案，谢谢！
...全文
请发表友善的回复…
发表回复
Felixzhaowenzhong 2011-12-30
- 打赏
- 举报
为什么数据量一大，就建议使用ORACLE呢，好像oracle成了万能的选择了。
dongsheng10101 2011-12-30
- 打赏
- 举报
路过，
没做过，没经验，没发表权，
跟着了解下
没做过，没经验，没发表权，
跟着了解下
noyester 2011-12-30
- 打赏
- 举报
每天一个表，今后要用到的统计，可以用程序在半夜的时候都统计出来，保存成XML，用户查询的时候尽量不去读数据库了，历史数据只是一个备用，单表一亿的数据，统计不怎么样性能怎么样，字段尽量都用数字类型了
Rotel-刘志东 2011-12-30
- 打赏
- 举报
建议oracle,最好大数据量处理用hadloop.
noyester 2011-12-30
- 打赏
- 举报
oracle 也只是用过，但是不熟，也不会怎么优化，就怕到时候连SQL 2008的性能都不如
SQL 2008能多服务器么，应该怎么建呢
SQL 2008能多服务器么，应该怎么建呢
jwwyqs 2011-12-30
- 打赏
- 举报
云计算的存储体系
Neetgo 2011-12-30
- 打赏
- 举报
你都想到方案了，性能调整没有最好，只有更好。先按自己想的去搞，出问题再想办法。大数据的情况下，很多解决方案都归纳为分库、分表了
noyester 2011-12-30
- 打赏
- 举报
看样子要结贴咯
jmx123456789 2011-12-29
- 打赏
- 举报
分区肯定的了
mark
noyester 2011-12-29
- 打赏
- 举报
顶
统计出来后，历史表里可以清除掉，保留最近1-2个月的数据就行
统计出来后，历史表里可以清除掉，保留最近1-2个月的数据就行
cacoda 2011-12-29
- 打赏
- 举报
不查询只添加的时候只有表索引多了才会影响效率，24小时的做法没必要，增加了程序复杂度，定点转移数据就行，然后建议使用Oracle，如此多的并发对SQLServer是一种灾难。
按你1亿/天的估算，数据量将达到1157条/秒，就算是磁盘阵列，一台服务器估计也顶不住，建议多搞几个服务器，TCP连接数也是有限制的，最好应用服务器和数据库服务器分开。
按你1亿/天的估算，数据量将达到1157条/秒，就算是磁盘阵列，一台服务器估计也顶不住，建议多搞几个服务器，TCP连接数也是有限制的，最好应用服务器和数据库服务器分开。
黄_瓜 2011-12-29
- 打赏
- 举报
路过，木经验，木有发言权
houyajin 2011-12-29
- 打赏
- 举报
估计都在忙着下班。
noyester 2011-12-29
- 打赏
- 举报
怎么看不见恢复
dawugui 2011-12-28
- 打赏
- 举报
日数据估计几千万，甚至上亿
---------------------------------
这么大的数据量,估计哪个数据库都不好使.
建议使用oracle.
祝楼主好运.
---------------------------------
这么大的数据量,估计哪个数据库都不好使.
建议使用oracle.
祝楼主好运.
noyester 2011-12-28
- 打赏
- 举报
[Quote=引用 4 楼 qianjin036a 的回复:]
这么大的数据量,分区是肯定的.不过不明白楼主说的每小时的数据汇总后删除是什么意思,难道这些数据不用保存吗?
如果不用保存的话,那来一条统计一条不就行了吗?
[/Quote]
小时统计了之后，转移到历史库，然后清空小时表里的数据
这么大的数据量,分区是肯定的.不过不明白楼主说的每小时的数据汇总后删除是什么意思,难道这些数据不用保存吗?
如果不用保存的话,那来一条统计一条不就行了吗?
[/Quote]
小时统计了之后，转移到历史库，然后清空小时表里的数据
Artist Coder 2011-12-28
- 打赏
- 举报
不懂，学习，其实楼主已经有倾向了，个人觉得第二种方案比第一个好。
-晴天 2011-12-28
- 打赏
- 举报
这么大的数据量,分区是肯定的.不过不明白楼主说的每小时的数据汇总后删除是什么意思,难道这些数据不用保存吗?
如果不用保存的话,那来一条统计一条不就行了吗?
如果不用保存的话,那来一条统计一条不就行了吗?
唐诗三百首 2011-12-28
- 打赏
- 举报
楼主已经考虑得很全面了,这么大的数据量,估计要用存储了吧?
普通服务器估计存不下来,而且备份恢复是个问题,如何确保高可用性需考虑喔.
普通服务器估计存不下来,而且备份恢复是个问题,如何确保高可用性需考虑喔.
kingtiy 2011-12-28
- 打赏
- 举报
原始记录做一个分区表.
汇总的数据每天计算到另一个结果的表.
查的时候直接查这个结果表就可以了
汇总的数据每天计算到另一个结果的表.
查的时候直接查这个结果表就可以了
