超级大容量数据库设计问题，年存储4万亿条记录。

kyle315 2011-08-26 12:01:02
一秒钟有十几万条记录产生，一年有将近4万亿条记录产生，数据量非常之大，目前也有好多用户都提出了类似的要求，请教各位大神，有无可行的方案，不限数据库（目前使用MySQL，无法满足要求），只要能满足要求，关系型数据库、NoSQL数据库都行，请注明实现的方式，多谢。

说明：
1.不考虑超级服务器，太贵，但8核之类的服务器还可以接受；
2.除了检索，还要进行数据统计分析，可能会针对1年的数据进行分析，需要保证统计性能；
...全文
325 18 打赏 收藏 转发到动态 举报
写回复
用AI写文章
18 条回复
切换为时间正序
请发表友善的回复…
发表回复
2399 2011-08-28
  • 打赏
  • 举报
 回复
学习ing
liguiju 2011-08-26
  • 打赏
  • 举报
 回复
楼主的大数据处理环境使用HBase+Hadoop+Hive，做分布式存储，后期做分布式计算，数据统计分析，挖掘之类的是一个可取的方案，可以说是解决这个大数据量利器。
kyle315 2011-08-26
  • 打赏
  • 举报
 回复
另外，大家有无在生产环境使用过MySQL+NoSQL，哪种NoSQL技术更成熟些？我想尽量在MySQL上去改进，ORACLE授权太贵了。
kyle315 2011-08-26
  • 打赏
  • 举报
 回复
[Quote=引用 13 楼 acmain_chm 的回复:]

无论是ORACLE或者DB2，这样的大的IO，单台普通计算机服务器肯定不行。 同样如果是多机，则不管是MYSQL还是ORACLE都可以。但关键是这个集群很难，需要有经验的专家。
[/Quote]
MySQL集群的可靠性如何？
士居坡西 2011-08-26
  • 打赏
  • 举报
 回复
你的用户是百度谷歌吧?
ACMAIN_CHM 2011-08-26
  • 打赏
  • 举报
 回复
[Quote]一秒钟有十几万条记录产生[/Quote]这个估计没什么单个服务器的数据库能支持住。1秒150K记录，每毫秒150个记录，你的网络如何设计？ 你的磁盘IO如何设计？ 你的存储访问如何设计？ 目前的单机系统估计难。


考虑一下多台服务器来做负载均衡。
WWWWA 2011-08-26
  • 打赏
  • 举报
 回复
这个数据量，恐怕只有ORACLE胜任了
clop 2011-08-26
  • 打赏
  • 举报
 回复
一秒十几万记录是什么数据啊，短信也没这么多吧
必须cluster+负载均衡
ACMAIN_CHM 2011-08-26
  • 打赏
  • 举报
 回复
无论是ORACLE或者DB2，这样的大的IO，单台普通计算机服务器肯定不行。 同样如果是多机，则不管是MYSQL还是ORACLE都可以。但关键是这个集群很难，需要有经验的专家。
coder000 2011-08-26
  • 打赏
  • 举报
 回复
DB2啊DB2

加油馒头 2011-08-26
  • 打赏
  • 举报
 回复
按天 分表 分库
iihero 2011-08-26
  • 打赏
  • 举报
 回复
NoSQL
wwwwb 2011-08-26
  • 打赏
  • 举报
 回复
[Quote=引用 8 楼 mysqldbd 的回复:]
引用 1 楼 wwwwa 的回复:
这个数据量，恐怕只有ORACLE胜任了


DB2的数据库也可以满足楼主的要求的。
[/Quote]
哦，对DB2不是很熟悉，IBM的大型数据库？
mysqldbd 2011-08-26
  • 打赏
  • 举报
 回复
[Quote=引用 1 楼 wwwwa 的回复:]
这个数据量，恐怕只有ORACLE胜任了
[/Quote]

DB2的数据库也可以满足楼主的要求的。
daodaoyu222 2011-08-26
  • 打赏
  • 举报
 回复
楼主瞎折腾。。

什么项目，，有这么大请求啊。
微醺-BW 2011-08-26
  • 打赏
  • 举报
 回复
一秒钟有十几万条记录产生，太厉害了！
zhaojianmi1 2011-08-26
  • 打赏
  • 举报
 回复
hadoop
rucypli 2011-08-26
  • 打赏
  • 举报
 回复
前使用MySQL，无法满足要求


为什么
oracle数据库最大量,Oracle 10g数据库的最大容量
在Oracle 10g 的database concepts上提到，Oracle 10g的最大容量是8exabytes(EB)，1EB=1024PB=1048576TB，这是一个相当大的数据了。还没有听说过单个库的容量达到这么大的。(虽然现实中有达到EB级别的数据量的，但那是很多个库的数据量的合计，而不是单个库。)我们看看这8EB是怎么计算来的：Oracle 10g的数据文件最多可以有64K个，对...
数据库设计文档规范
数据库设计文档规范 文章目录数据库设计文档规范一、命名规范1、总命名规范2、表名3、字段名4、主键名5、外键名6、普通索引7、主键索引8、唯一索引9、外键索引二、表设计规范三、字段设计规范四、索引规范五、其他SQL规约ORM规约 一、命名规范 1、总命名规范 库名与应用名称尽量一致 不得使用数据库保留关键字,以及java等常用语言的保留关键字,或者可能成为关键字的单词作为完整命名.（对于一些疑似关键字的单词,可以在后面加一个下划线来避免,例如“key_”）. 附：MySQL保留关键字列表：https:
MySQL数据库如何解决大数据量存储问题
利用MySQL数据库如何解决大数据量存储问题？ 各位高手您们好，我最近接手公司里一个比较棘手的问题，关于如何利用MySQL存储大数据量的问题，主要是数据库中的两张历史数据表，一张模拟量历史数据和一张开关量历史数据表，这两张表字段设计的很简单（OrderNo，Value，DataTime）。基本上每张表每天可以增加几千万条数据，我想问如何存储数据才能不影响检索速度呢？需不需要换oracle数据
大数据量数据库设计与优化方案
一、数据库结构的设计         如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。         在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的薄弱之处，等到系统投入实际运行一段时间后，才发现系统的性
数据库设计&分布式设计
文章目录一. 数据库设计1.1 多表关系 (重点)1.2 类型设计 (重点)1.3 约束设计 (重点)1.4 索引设计1.5 主键设计1.6 三范式和反范式设计 (重点)1.7 锁1.8 事务1.9 数据库引擎 (重点)1.10 其他二. 数据库分布式设计2.1 复制2.2 Sharding 分片/分库分表1.2.1 垂直拆分 (重点)1.2.2 水平拆分2.3 发布式带来的问题 一. 数据库设计...
MySQL

56,687

社区成员

56,710

社区内容

发帖
与我相关
我的任务
社区描述
MySQL相关内容讨论专区
社区管理员
  • MySQL
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章