关于大数据量的数据库设计问题

zblaoshu1979 2013-03-06 09:47:23
从全国的2万个网点汇总数据到中央数据库,每天数据总量大约100亿条左右,每调数据大约为2K。
如果数据库用SQL SERVER,要考虑到以后的报表和查询问题和大数据量怎么写入数据库的问题,数据库服务器如何设计,数据库如何设计,表如何设计,是要一个网点一个表设计比较好,还是每天一个表好?是否要用到集群?请各位高手指点。
...全文
323 14 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
14 条回复
切换为时间正序
请发表友善的回复…
发表回复
DBA_磊仔 2013-03-07
  • 打赏
  • 举报
回复
只能留下一个脚印看回复
zblaoshu1979 2013-03-07
  • 打赏
  • 举报
回复
谢谢大家的回复,每个网点肯定有自己的服务器,要不没法承受这么大的数据量的。
Kilin_Zhang 2013-03-07
  • 打赏
  • 举报
回复
留个脚印,坐等关注
zbdzjx 2013-03-06
  • 打赏
  • 举报
回复
引用 1 楼 OrchidCat 的回复:
每天18623TB数据量,个人认为sql server 无力承担这个级别的数据量。不光是存储端的问题,传输,计算都是比较巨大的一个量。 没有这么大数据量的经验,关注...
没这么大吧,100亿X2K=20T。 个人感觉:应该每个网点有自己的服务器,然后再将报表所需的资料汇总传给中央数据库吧。
haitao 2013-03-06
  • 打赏
  • 举报
回复
引用 1 楼 OrchidCat 的回复:
每天18623TB数据量,个人认为sql server 无力承担这个级别的数据量。不光是存储端的问题,传输,计算都是比较巨大的一个量。 没有这么大数据量的经验,关注...
每天100亿条已经是2万个网点的总数了吧 不过也很厉害了,中央数据库单服务器肯定不行了 100亿x2k=20T,网络恐怕都吃不消。。。。。 要从业务上看看能不能分拆到多个服务器
昵称被占用了 2013-03-06
  • 打赏
  • 举报
回复
如果没有确定选型,考虑下nosql 如果确定使用sql server,自己考虑分布式是必须的 数据库设计在确定选型后再考虑
Leon_He2014 2013-03-06
  • 打赏
  • 举报
回复
搞个集群 ,用hadoop
mayuanf 2013-03-06
  • 打赏
  • 举报
回复
上一体机吧。微软的PDW(parallel data warehouse)目前支持dell和hp的服务器,价格便宜(相对teradata和exadata),童叟无欺,适合处理pb级的数据量。
zblaoshu1979 2013-03-06
  • 打赏
  • 举报
回复
谢谢大家的回答,不是电商,是YH项目。我也在考虑用哪个数据库软件比较适合这个项目。
夜予 2013-03-06
  • 打赏
  • 举报
回复
2万个网点数据量平均下来一个点也才每天100M左右,地方不一样数据量当然有出入,SQL数据库完全能应付 建议分布式设计:各个点的数据汇总到中央考虑的应该是以后数据挖掘和备份吧! 1、可以将中央与地方的数据库设计一模一样 2、不常用的表放在一个数据库里,常用的表单独一个数据库 3、数据量小的地方所有数据库可以放在一台服务器里,数据量大的地方进行负载均衡,将每个数据库放在单独的服务器上 个人意见有不足之处望见谅,敢问LZ做的是电商项目?
唐诗三百首 2013-03-06
  • 打赏
  • 举报
回复
个人认为这个不仅仅是数据库设计的问题,关系到整个系统的架构设计.. 请问这是什么生猛的系统喔.
昵称被占用了 2013-03-06
  • 打赏
  • 举报
回复
自己先计算下,需要多少服务器,数据量大可能是事实,但是估计也需要准确,如果真有这么大数据量,首先应该考虑精简数据。 sql server没有合适的集群可以直接使用,自己设计集群还是比较困难的,也比较难以通用
Mr_Nice 2013-03-06
  • 打赏
  • 举报
回复
每天18623TB数据量,个人认为sql server 无力承担这个级别的数据量。不光是存储端的问题,传输,计算都是比较巨大的一个量。 没有这么大数据量的经验,关注...

34,838

社区成员

发帖
与我相关
我的任务
社区描述
MS-SQL Server相关内容讨论专区
社区管理员
  • 基础类社区
  • 二月十六
  • 卖水果的net
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧