关于大数据量的数据库设计问题

zblaoshu1979 2013-03-06 09:47:23

从全国的2万个网点汇总数据到中央数据库，每天数据总量大约100亿条左右，每调数据大约为2K。
如果数据库用SQL SERVER,要考虑到以后的报表和查询问题和大数据量怎么写入数据库的问题，数据库服务器如何设计，数据库如何设计，表如何设计，是要一个网点一个表设计比较好，还是每天一个表好？是否要用到集群？请各位高手指点。

...全文

323 14 打赏收藏转发到动态举报

写回复

用AI写文章

14 条回复

切换为时间正序

请发表友善的回复…

发表回复

DBA_磊仔 2013-03-07

打赏
举报

只能留下一个脚印看回复

zblaoshu1979 2013-03-07

打赏
举报

谢谢大家的回复，每个网点肯定有自己的服务器，要不没法承受这么大的数据量的。

Kilin_Zhang 2013-03-07

打赏
举报

留个脚印，坐等关注

zbdzjx 2013-03-06

打赏
举报

引用 1 楼 OrchidCat 的回复:

每天18623TB数据量，个人认为sql server 无力承担这个级别的数据量。不光是存储端的问题，传输，计算都是比较巨大的一个量。没有这么大数据量的经验，关注...

没这么大吧，100亿X2K=20T。个人感觉：应该每个网点有自己的服务器，然后再将报表所需的资料汇总传给中央数据库吧。

haitao 2013-03-06

打赏
举报

引用 1 楼 OrchidCat 的回复:

每天18623TB数据量，个人认为sql server 无力承担这个级别的数据量。不光是存储端的问题，传输，计算都是比较巨大的一个量。没有这么大数据量的经验，关注...

每天100亿条已经是2万个网点的总数了吧不过也很厉害了，中央数据库单服务器肯定不行了 100亿x2k=20T，网络恐怕都吃不消。。。。。要从业务上看看能不能分拆到多个服务器

昵称被占用了 2013-03-06

打赏
举报

如果没有确定选型，考虑下nosql 如果确定使用sql server，自己考虑分布式是必须的数据库设计在确定选型后再考虑

Leon_He2014 2013-03-06

打赏
举报

搞个集群，用hadoop

mayuanf 2013-03-06

打赏
举报

上一体机吧。微软的PDW(parallel data warehouse)目前支持dell和hp的服务器，价格便宜(相对teradata和exadata),童叟无欺，适合处理pb级的数据量。

zblaoshu1979 2013-03-06

打赏
举报

谢谢大家的回答，不是电商，是YH项目。我也在考虑用哪个数据库软件比较适合这个项目。

夜予 2013-03-06

打赏
举报

2万个网点数据量平均下来一个点也才每天100M左右，地方不一样数据量当然有出入，SQL数据库完全能应付建议分布式设计：各个点的数据汇总到中央考虑的应该是以后数据挖掘和备份吧！ 1、可以将中央与地方的数据库设计一模一样 2、不常用的表放在一个数据库里，常用的表单独一个数据库 3、数据量小的地方所有数据库可以放在一台服务器里，数据量大的地方进行负载均衡，将每个数据库放在单独的服务器上个人意见有不足之处望见谅，敢问LZ做的是电商项目？