请教各位，5亿海量数据的效率问题

[wys512]

数据库是sqlserver2005，情况是这样，设计目标是注册用户超过5亿，而这些用户的自己的数据量也就是5亿乘以n的量，相当大的数据量了，目前是几千万的量，我需要考虑的肯定是优化问题，如果同时在线或者并发请求数据库的太多了，那么效率上自然有问题，即响应会很慢，我了解2005数据库可以分区，那么这样的如何分区更好呢，或者其它更好的办法，目标只有一个保证网站的访问能够流利顺畅（不卡壳），在线等各位指教，谢谢

[wys512]

不知道csdn，sina，163等这些大网站是如何做的，特别是csdn，有段时间特别慢么，后来改进了之后快多了，大家都是如此感觉吧，如果开发csdn的大侠们能说句话，顶咱读十年书哦，呵呵继续期待各位高手的到来及指点。。。。。。。。。。。。。

[orochi_gao]

帮顶，没处理过这么大数据量的。
粗略的算了一下 主表5亿数据量,按每条记录160字节计算，一个存储页能存50条记录需要10000000万页。也就是10000000*8K需要80G的空间
用户详细数据量就难以计算了,如此大的数据量,表的设计必须要非常合理。数据库设计应该按照使用(事务处理特点)分不同的文件组，采用相应不动的备份策略。
至于表如何分区这个数据量太大了，而且如何增长不知道。这么大的表发布订阅是否存在什么问题,期待有经验的高人前来指导大家。

[wys512]

关键这个数据是一直都要求这么大量的数据都可能参与工作，举例说就是csdn注册的用户，不能说什么时间段的用户备一下份，然后清掉数据让新用户又开始，所以我觉得备份策略在这里没什么用，呵呵，谢谢你，我们共同期待吧

[orochi_gao]

lz误解我的意思了，我指的备份不是之后什么清掉数据，我指的是数据库崩溃后的灾难恢复。

[wys512]

哦，呵呵，谢谢

[claro]

建议楼主多找几个专业的公司咨询，可能还是要花点钱。

[trustmart2002]

http://topic.csdn.net/u/20090224/20/263c81bc-abf2-4ec2-8d21-aa0339a57f61.html
有人在SQl Server上研究出负载均衡集群了,类似oracle的"RAC"技术,而且是几个中国人弄的,不简单

[saizhang]

顶

[trustmart2002]

29楼说的有一定的道理，大型数据应用一般都用Unix系统，上面走Oracle的；；sQL server 只是后来跟上的
像电信部门都用的是Unix吧，
如果目前Sql server有更好的解决方案。我一定要好好学习拉。。。
[Quote=引用 29 楼 orochi_gao 的回复:]
这么大的数据能不能运行在mssql上，问问邹老大就好了。
至于用oracle,如此数据量恐怕linux系统也做不到很好的支持，要用unix，加上oracle以及年年的服务费。昂贵的费用阿。
lz单位很有钱啊。。。
[/Quote]

[Q315054403]

我来，多少给点苦力费
QQ：315054403 MSN:[e-mail]

[juqiang]

5亿...客户疯掉了,估计他没在网络泡沫那时候玩过.

我的客户最大的数据库是1.4T，sql2k5的，我现在做的小，500G，也是sql 2k5，不过单表还不算小，最大的一个表1亿条数据，占用了80G的空间。在一个8G内存的烂服务器上，跑的也不错。

上面说的replication什么的，都可以考虑啊！数据及时归档也是比较重要的环节。

如果需要专业的方案，可以联系ms的premier service。

[wys512]

感谢大家的参与及帮助，呵呵

[worlddba]

帮顶

[wangyongz]

分布式服务器肯定要用的，负载平衡。

http://topic.csdn.net/u/20100321/17/076a7a3c-ab1e-449e-9fe4-c7388c9b3dc8.html?这个帖子给你参考。

我的问题和你一样

[黄_瓜]

好的b/s系统，需要数据库、文件、程序、内存的合理结合使用才好处理。
单单从某一个方面出发是不行的

[SnowyLu]

帮顶，没处理过这么大数据量的。
粗略的算了一下 主表5亿数据量,按每条记录160字节计算，一个存储页能存50条记录需要10000000万页。也就是10000000*8K需要80G的空间
用户详细数据量就难以计算了,如此大的数据量,表的设计必须要非常合理。数据库设计应该按照使用(事务处理特点)分不同的文件组，采用相应不动的备份策略。
至于表如何分区这个数据量太大了，而且如何增长不知道。这么大的表发布订阅是否存在什么问题,期待有经验的高人前来指导大家。

[东那个升]

[Quote=引用楼主 wys512 的回复:]
数据库是sqlserver2005，情况是这样，设计目标是注册用户超过5亿，而这些用户的自己的数据量也就是5亿乘以n的量，相当大的数据量了，目前是几千万的量，我需要考虑的肯定是优化问题，如果同时在线或者并发请求数据库的太多了，那么效率上自然有问题，即响应会很慢，我了解2005数据库可以分区，那么这样的如何分区更好呢，或者其它更好的办法，目标只有一个保证网站的访问能够流利顺畅（不卡壳），在线等各位指……
[/Quote]

可以散列存储在多个数据库，多台机器上嘛。。。。。

[水中影子]

友情帮顶

[Andy-W]

可以考虑集群、网络、服务器硬件升级，如参考：
《从腾讯QQgame高性能服务器集群架构看“分而治之”与“自治”等分布式架构设计原则》

[ziyang_518]

如此海量，不是我们三言两语能够说清楚。期待。