超级大容量数据库设计问题，年存储4万亿条记录。

kyle315 2011-08-26 12:01:02

一秒钟有十几万条记录产生，一年有将近4万亿条记录产生，数据量非常之大，目前也有好多用户都提出了类似的要求，请教各位大神，有无可行的方案，不限数据库（目前使用MySQL，无法满足要求），只要能满足要求，关系型数据库、NoSQL数据库都行，请注明实现的方式，多谢。

说明：
1.不考虑超级服务器，太贵，但8核之类的服务器还可以接受；
2.除了检索，还要进行数据统计分析，可能会针对1年的数据进行分析，需要保证统计性能；

...全文

340 18 打赏收藏转发到动态举报

写回复

18 条回复

切换为时间正序

请发表友善的回复…

发表回复

2399 2011-08-28

打赏
举报

回复

学习ing

liguiju 2011-08-26

打赏
举报

回复

楼主的大数据处理环境使用HBase+Hadoop+Hive，做分布式存储，后期做分布式计算，数据统计分析，挖掘之类的是一个可取的方案，可以说是解决这个大数据量利器。

kyle315 2011-08-26

打赏
举报

回复

另外，大家有无在生产环境使用过MySQL+NoSQL，哪种NoSQL技术更成熟些？我想尽量在MySQL上去改进，ORACLE授权太贵了。

kyle315 2011-08-26

打赏
举报

回复

[Quote=引用 13 楼 acmain_chm 的回复:]

无论是ORACLE或者DB2，这样的大的IO，单台普通计算机服务器肯定不行。同样如果是多机，则不管是MYSQL还是ORACLE都可以。但关键是这个集群很难，需要有经验的专家。
[/Quote]
MySQL集群的可靠性如何？

士居坡西 2011-08-26

打赏
举报

回复

你的用户是百度谷歌吧?

ACMAIN_CHM 2011-08-26

打赏
举报

回复

[Quote]一秒钟有十几万条记录产生[/Quote]这个估计没什么单个服务器的数据库能支持住。1秒150K记录，每毫秒150个记录，你的网络如何设计？你的磁盘IO如何设计？你的存储访问如何设计？目前的单机系统估计难。

考虑一下多台服务器来做负载均衡。

WWWWA 2011-08-26

打赏
举报

回复

这个数据量，恐怕只有ORACLE胜任了

clop 2011-08-26

打赏
举报

回复

一秒十几万记录是什么数据啊，短信也没这么多吧
必须cluster+负载均衡

ACMAIN_CHM 2011-08-26

打赏
举报

回复

无论是ORACLE或者DB2，这样的大的IO，单台普通计算机服务器肯定不行。同样如果是多机，则不管是MYSQL还是ORACLE都可以。但关键是这个集群很难，需要有经验的专家。

coder000 2011-08-26

打赏
举报

回复

DB2啊DB2

加油馒头 2011-08-26

打赏
举报

回复

按天分表分库

iihero 2011-08-26

打赏
举报

回复

NoSQL

wwwwb 2011-08-26

打赏
举报

回复

[Quote=引用 8 楼 mysqldbd 的回复:]
引用 1 楼 wwwwa 的回复:
这个数据量，恐怕只有ORACLE胜任了

DB2的数据库也可以满足楼主的要求的。
[/Quote]
哦，对DB2不是很熟悉，IBM的大型数据库？

mysqldbd 2011-08-26

打赏
举报

回复

[Quote=引用 1 楼 wwwwa 的回复:]
这个数据量，恐怕只有ORACLE胜任了
[/Quote]

DB2的数据库也可以满足楼主的要求的。

daodaoyu222 2011-08-26

打赏
举报

回复

楼主瞎折腾。。

什么项目，，有这么大请求啊。

微醺-BW 2011-08-26

打赏
举报

回复

一秒钟有十几万条记录产生，太厉害了！

zhaojianmi1 2011-08-26

打赏
举报

回复

hadoop

rucypli 2011-08-26

打赏
举报

回复

前使用MySQL，无法满足要求

为什么

利用MySQL数据库如何解决大数据量存储问题？各位高手您们好，我最近接手公司里一个比较棘手的问题，关于如何利用MySQL存储大数据量的问题，主要是数据库中的两张历史数据表，一张模拟量历史数据和一张开关量历史数据表，这两张表字段设计的很简单（OrderNo，Value，DataTime）。基本上每张表每天可以增加几千万条数据，我想问如何存储数据才能不影响检索速度呢？需不需要换oracle数据

一、数据库结构的设计如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的薄弱之处，等到系统投入实际运行一段时间后，才发现系统的性

一、数据库设计1、表结构设计-表中的自增列(auto_increment属性)推荐使用bigint类型-首选使用非空的唯一键，其次选择自增列或发号器不使用更新频繁的列，尽量不选择字符串列，不使用UUID MD5 HASH-业务中选择性很少的状态status、类型type等字段推荐使用tinytint或者smallint类型-业务中IP地址字段推荐使用int类型-业务活跃的大表中必须有行数据的创建...

分区将数据库分区可提高其性能并易于维护。通过将一个大表拆分成更小的单个表，只访问一小部分数据的查询可以执行得更快，因为需要扫描的数据较少。而且可以更快地执行维护任务（如重建索引或备份表）。实现分区操作时可以不拆分表，而将表物理地放置在个别的磁盘驱动器上。例如，将表放在某个物理驱动器上并将相关的表放在与之分离的驱动器上可提高查询性能，因为当执行涉及表之间联接的查询时，多个磁头同时读取数据

在Oracle 10g 的database concepts上提到，Oracle 10g的最大容量是8exabytes(EB)，1EB=1024PB=1048576TB，这是一个相当大的数据了。还没有听说过单个库的容量达到这么大的。(虽然现实中有达到EB级别的数据量的，但那是很多个库的数据量的合计，而不是单个库。)我们看看这8EB是怎么计算来的：Oracle 10g的数据文件最多可以有64K个，对...

56,920

社区成员

56,755

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章