17,377
社区成员
发帖
与我相关
我的任务
分享关于大数据量的数据库设计问题
从全国的2万个网点汇总数据到中央数据库，每天数据总量大约100亿条左右，每调数据大约为2K。
数据库打算用oracle,要考虑到以后的报表和查询问题，数据库服务器如何设计，数据库如何设计，表如何设计，是要一个网点一个表设计比较好，还是每天一个表好？是否要用到RAC？请各位高手指点。
数据库打算用oracle,要考虑到以后的报表和查询问题，数据库服务器如何设计，数据库如何设计，表如何设计，是要一个网点一个表设计比较好，还是每天一个表好？是否要用到RAC？请各位高手指点。
...全文
请发表友善的回复…
发表回复
营赢盈英 2015-07-27
- 打赏
- 举报
LZ是逗比，鉴定完毕。
Mr-武翎 2013-09-17
- 打赏
- 举报
学习了
不得不戒 2013-09-16
- 打赏
- 举报
我的是每天30万条，我都觉得很大了，结果到楼主这一看，吓尿了
shatelang 2013-05-23
- 打赏
- 举报
遇到过类似的 需求
kmy001 2013-05-03
- 打赏
- 举报
数据库里边的表也要好好设计一下至少满足第三范式， 可以减少很多冗余数据
a82344626 2013-04-02
- 打赏
- 举报
我也是这么感觉~
Hi幸福来敲门 2013-04-01
- 打赏
- 举报
看来得学习一下淘宝的开源数据库OceanBase
宁波朱超 2013-03-30
- 打赏
- 举报
你是什么职位?这事是你操心的么？真是你操心的你也不会来问这些问题了。
总之不是你操心的事情就别操心，这些问题明显已经超过了你的技术能力，
你操心也没有什么结果，而这里CSDN也不会给你什么明确的建设性的意见。
我告诉你 你要操心的事情已经远不是技术上的问题，已经牵涉到了行政，
和第三方利益的问题，如果只在技术上去探讨，我只能告诉你别瞎J8扯淡了。。。
拜雨 2013-03-30
- 打赏
- 举报
打酱油的，支持下
llsshh1985 2013-03-29
- 打赏
- 举报
真是海量数据库
沉---枫 2013-03-29
- 打赏
- 举报
学习了
fengxiaohan211 2013-03-27
- 打赏
- 举报
确实还行。。。
whsxzh 2013-03-26
- 打赏
- 举报
查询需要做分布式查询，简单的来说就是一个查询指令发出去，软件需要找到数据在那里，并汇总发送给查询端
其次就是数据报表需要定时运行汇总计算，需要的时候直接拉出来，不能做及时的报表汇总。
另外一个优化程序就是定期比如三个月，清理日志数据，长期只保留核心数据，这样可以节省大量的空间和运算
whsxzh 2013-03-26
- 打赏
- 举报
这个项目最大的瓶颈是存储，每天60T，建议楼主从优化数据上考虑先，把数据该缩减的缩减，该浓缩的浓缩减少数据量，
其次就是做分布式查询和存储，存储采用就近存储原则，20000个点，每天只要3G的数据，另外各自做容灾异地备份，
大腹 2013-03-26
- 打赏
- 举报
学习…关注…羡慕楼主有这么好的机会
whsxzh 2013-03-26
- 打赏
- 举报
需要写大量的索引代码和通讯代码，来维持多网点的查询
whsxzh 2013-03-26
- 打赏
- 举报
这个普通的数据库解决不了，具体网点可以考虑用数据库
whsxzh 2013-03-26
- 打赏
- 举报
这个普通的数据库解决不了，具体网点勉强可以考虑用数据库每天
zhuchunlai 2013-03-26
- 打赏
- 举报
这种需求不是单纯地数据库设计的问题，关键还是要明确你的数据需求是什么？
应该考虑Hadoop和NoSQL方面的方案了，另外要配合应用架构的设计来处理，而不是简单的明确用oracle
whsxzh 2013-03-26
- 打赏
- 举报
规模很大，2万个点至少要4万台机器，并且如果按照楼主的假设，数据不做整理和历史数据浓缩，每年还要增加2万台机器，嘿嘿普通的数据库基本上是撑不住
加载更多回复（113）
