请教各位,5亿海量数据的效率问题

wys512 2009-03-26 10:23:32
数据库是sqlserver2005,情况是这样,设计目标是注册用户超过5亿,而这些用户的自己的数据量也就是5亿乘以n的量,相当大的数据量了,目前是几千万的量,我需要考虑的肯定是优化问题,如果同时在线或者并发请求数据库的太多了,那么效率上自然有问题,即响应会很慢,我了解2005数据库可以分区,那么这样的如何分区更好呢,或者其它更好的办法,目标只有一个保证网站的访问能够流利顺畅(不卡壳),在线等各位指教,谢谢
...全文
393 49 打赏 收藏 转发到动态 举报
写回复
用AI写文章
49 条回复
切换为时间正序
请发表友善的回复…
发表回复
ziyang_518 2010-03-22
  • 打赏
  • 举报
回复
如此海量,不是我们三言两语能够说清楚。期待。
Andy-W 2010-03-22
  • 打赏
  • 举报
回复
可以考虑集群、网络、服务器硬件升级,如参考:
《从腾讯QQgame高性能服务器集群架构看“分而治之”与“自治”等分布式架构设计原则》
水中影子 2010-03-22
  • 打赏
  • 举报
回复
友情帮顶
东那个升 2010-03-22
  • 打赏
  • 举报
回复
[Quote=引用楼主 wys512 的回复:]
数据库是sqlserver2005,情况是这样,设计目标是注册用户超过5亿,而这些用户的自己的数据量也就是5亿乘以n的量,相当大的数据量了,目前是几千万的量,我需要考虑的肯定是优化问题,如果同时在线或者并发请求数据库的太多了,那么效率上自然有问题,即响应会很慢,我了解2005数据库可以分区,那么这样的如何分区更好呢,或者其它更好的办法,目标只有一个保证网站的访问能够流利顺畅(不卡壳),在线等各位指……
[/Quote]

可以散列存储在多个数据库,多台机器上嘛。。。。。
SnowyLu 2010-03-22
  • 打赏
  • 举报
回复
帮顶,没处理过这么大数据量的。
粗略的算了一下 主表5亿数据量,按每条记录160字节计算,一个存储页能存50条记录需要10000000万页。也就是10000000*8K需要80G的空间
用户详细数据量就难以计算了,如此大的数据量,表的设计必须要非常合理。数据库设计应该按照使用(事务处理特点)分不同的文件组,采用相应不动的备份策略。
至于表如何分区这个数据量太大了,而且如何增长不知道。这么大的表发布订阅是否存在什么问题,期待有经验的高人前来指导大家。
黄_瓜 2010-03-22
  • 打赏
  • 举报
回复
好的b/s系统,需要数据库、文件、程序、内存的合理结合使用才好处理。
单单从某一个方面出发是不行的
wangyongz 2010-03-22
  • 打赏
  • 举报
回复
分布式服务器肯定要用的,负载平衡。

http://topic.csdn.net/u/20100321/17/076a7a3c-ab1e-449e-9fe4-c7388c9b3dc8.html?这个帖子给你参考。

我的问题和你一样
worlddba 2009-03-30
  • 打赏
  • 举报
回复
帮顶
wys512 2009-03-30
  • 打赏
  • 举报
回复
感谢大家的参与及帮助,呵呵
juqiang 2009-03-30
  • 打赏
  • 举报
回复
5亿...客户疯掉了,估计他没在网络泡沫那时候玩过.

我的客户最大的数据库是1.4T,sql2k5的,我现在做的小,500G,也是sql 2k5,不过单表还不算小,最大的一个表1亿条数据,占用了80G的空间。在一个8G内存的烂服务器上,跑的也不错。

上面说的replication什么的,都可以考虑啊!数据及时归档也是比较重要的环节。

如果需要专业的方案,可以联系ms的premier service。
Q315054403 2009-03-28
  • 打赏
  • 举报
回复
我来,多少给点苦力费
QQ:315054403 MSN:dgdba@hotmail.com
trustmart2002 2009-03-27
  • 打赏
  • 举报
回复
29楼说的有一定的道理,大型数据应用一般都用Unix系统,上面走Oracle的;;sQL server 只是后来跟上的
像电信部门都用的是Unix吧,
如果目前Sql server有更好的解决方案。我一定要好好学习拉。。。
[Quote=引用 29 楼 orochi_gao 的回复:]
这么大的数据能不能运行在mssql上,问问邹老大就好了。
至于用oracle,如此数据量恐怕linux系统也做不到很好的支持,要用unix,加上oracle以及年年的服务费。昂贵的费用阿。
lz单位很有钱啊。。。
[/Quote]
saizhang 2009-03-27
  • 打赏
  • 举报
回复
trustmart2002 2009-03-27
  • 打赏
  • 举报
回复
http://topic.csdn.net/u/20090224/20/263c81bc-abf2-4ec2-8d21-aa0339a57f61.html
有人在SQl Server上研究出负载均衡集群了,类似oracle的"RAC"技术,而且是几个中国人弄的,不简单
claro 2009-03-27
  • 打赏
  • 举报
回复
建议楼主多找几个专业的公司咨询,可能还是要花点钱。
wys512 2009-03-26
  • 打赏
  • 举报
回复
哦,呵呵,谢谢
orochi_gao 2009-03-26
  • 打赏
  • 举报
回复
lz误解我的意思了,我指的备份不是之后什么清掉数据,我指的是数据库崩溃后的灾难恢复。
wys512 2009-03-26
  • 打赏
  • 举报
回复
关键这个数据是一直都要求这么大量的数据都可能参与工作,举例说就是csdn注册的用户,不能说什么时间段的用户备一下份,然后清掉数据让新用户又开始,所以我觉得备份策略在这里没什么用,呵呵,谢谢你,我们共同期待吧
orochi_gao 2009-03-26
  • 打赏
  • 举报
回复
帮顶,没处理过这么大数据量的。
粗略的算了一下 主表5亿数据量,按每条记录160字节计算,一个存储页能存50条记录需要10000000万页。也就是10000000*8K需要80G的空间
用户详细数据量就难以计算了,如此大的数据量,表的设计必须要非常合理。数据库设计应该按照使用(事务处理特点)分不同的文件组,采用相应不动的备份策略。
至于表如何分区这个数据量太大了,而且如何增长不知道。这么大的表发布订阅是否存在什么问题,期待有经验的高人前来指导大家。
wys512 2009-03-26
  • 打赏
  • 举报
回复
不知道csdn,sina,163等这些大网站是如何做的,特别是csdn,有段时间特别慢么,后来改进了之后快多了,大家都是如此感觉吧,如果开发csdn的大侠们能说句话,顶咱读十年书哦,呵呵继续期待各位高手的到来及指点。。。。。。。。。。。。。
加载更多回复(29)

22,210

社区成员

发帖
与我相关
我的任务
社区描述
MS-SQL Server 疑难问题
社区管理员
  • 疑难问题社区
  • 尘觉
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧