请教各位，5亿海量数据的效率问题

wys512 2009-03-26 10:23:32

数据库是sqlserver2005，情况是这样，设计目标是注册用户超过5亿，而这些用户的自己的数据量也就是5亿乘以n的量，相当大的数据量了，目前是几千万的量，我需要考虑的肯定是优化问题，如果同时在线或者并发请求数据库的太多了，那么效率上自然有问题，即响应会很慢，我了解2005数据库可以分区，那么这样的如何分区更好呢，或者其它更好的办法，目标只有一个保证网站的访问能够流利顺畅（不卡壳），在线等各位指教，谢谢

...全文

424 49 打赏收藏举报

写回复

用AI写文章

49 条回复

切换为时间正序

请发表友善的回复…

发表回复

ziyang_518 2010-03-22

打赏
举报

如此海量，不是我们三言两语能够说清楚。期待。

Andy-W 2010-03-22

打赏
举报

可以考虑集群、网络、服务器硬件升级，如参考：
《从腾讯QQgame高性能服务器集群架构看“分而治之”与“自治”等分布式架构设计原则》

水中影子 2010-03-22

打赏
举报

友情帮顶

东那个升 2010-03-22

打赏
举报

[Quote=引用楼主 wys512 的回复:]
数据库是sqlserver2005，情况是这样，设计目标是注册用户超过5亿，而这些用户的自己的数据量也就是5亿乘以n的量，相当大的数据量了，目前是几千万的量，我需要考虑的肯定是优化问题，如果同时在线或者并发请求数据库的太多了，那么效率上自然有问题，即响应会很慢，我了解2005数据库可以分区，那么这样的如何分区更好呢，或者其它更好的办法，目标只有一个保证网站的访问能够流利顺畅（不卡壳），在线等各位指……
[/Quote]

可以散列存储在多个数据库，多台机器上嘛。。。。。

SnowyLu 2010-03-22

打赏
举报

帮顶，没处理过这么大数据量的。
粗略的算了一下主表5亿数据量,按每条记录160字节计算，一个存储页能存50条记录需要10000000万页。也就是10000000*8K需要80G的空间
用户详细数据量就难以计算了,如此大的数据量,表的设计必须要非常合理。数据库设计应该按照使用(事务处理特点)分不同的文件组，采用相应不动的备份策略。
至于表如何分区这个数据量太大了，而且如何增长不知道。这么大的表发布订阅是否存在什么问题,期待有经验的高人前来指导大家。

黄_瓜 2010-03-22

打赏
举报

好的b/s系统，需要数据库、文件、程序、内存的合理结合使用才好处理。
单单从某一个方面出发是不行的

wangyongz 2010-03-22

打赏
举报

分布式服务器肯定要用的，负载平衡。

http://topic.csdn.net/u/20100321/17/076a7a3c-ab1e-449e-9fe4-c7388c9b3dc8.html?这个帖子给你参考。

我的问题和你一样

worlddba 2009-03-30

打赏
举报

帮顶

wys512 2009-03-30

打赏
举报

感谢大家的参与及帮助，呵呵

juqiang 2009-03-30

打赏
举报

5亿...客户疯掉了,估计他没在网络泡沫那时候玩过.

我的客户最大的数据库是1.4T，sql2k5的，我现在做的小，500G，也是sql 2k5，不过单表还不算小，最大的一个表1亿条数据，占用了80G的空间。在一个8G内存的烂服务器上，跑的也不错。

上面说的replication什么的，都可以考虑啊！数据及时归档也是比较重要的环节。

如果需要专业的方案，可以联系ms的premier service。

Q315054403 2009-03-28

打赏
举报

我来，多少给点苦力费
QQ：315054403 MSN:dgdba@hotmail.com

trustmart2002 2009-03-27

打赏
举报

29楼说的有一定的道理，大型数据应用一般都用Unix系统，上面走Oracle的；；sQL server 只是后来跟上的
像电信部门都用的是Unix吧，
如果目前Sql server有更好的解决方案。我一定要好好学习拉。。。
[Quote=引用 29 楼 orochi_gao 的回复:]
这么大的数据能不能运行在mssql上，问问邹老大就好了。
至于用oracle,如此数据量恐怕linux系统也做不到很好的支持，要用unix，加上oracle以及年年的服务费。昂贵的费用阿。
lz单位很有钱啊。。。
[/Quote]