超级大容量数据库设计问题，年存储4万亿条记录。

[kyle315]

一秒钟有十几万条记录产生，一年有将近4万亿条记录产生，数据量非常之大，目前也有好多用户都提出了类似的要求，请教各位大神，有无可行的方案，不限数据库（目前使用MySQL，无法满足要求），只要能满足要求，关系型数据库、NoSQL数据库都行，请注明实现的方式，多谢。

说明：
1.不考虑超级服务器，太贵，但8核之类的服务器还可以接受；
2.除了检索，还要进行数据统计分析，可能会针对1年的数据进行分析，需要保证统计性能；

[rucypli]

前使用MySQL，无法满足要求


为什么

[zhaojianmi1]

hadoop

[微醺-BW]

一秒钟有十几万条记录产生，太厉害了！

[daodaoyu222]

楼主瞎折腾。。

什么项目，，有这么大请求啊。

[mysqldbd]

[Quote=引用 1 楼 wwwwa 的回复:]
这个数据量，恐怕只有ORACLE胜任了
[/Quote]

DB2的数据库也可以满足楼主的要求的。

[wwwwb]

[Quote=引用 8 楼 mysqldbd 的回复:]
引用 1 楼 wwwwa 的回复:
这个数据量，恐怕只有ORACLE胜任了


DB2的数据库也可以满足楼主的要求的。
[/Quote]
哦，对DB2不是很熟悉，IBM的大型数据库？

[iihero]

NoSQL

[加油馒头]

按天 分表 分库

[coder000]

DB2啊DB2

[ACMAIN_CHM]

无论是ORACLE或者DB2，这样的大的IO，单台普通计算机服务器肯定不行。 同样如果是多机，则不管是MYSQL还是ORACLE都可以。但关键是这个集群很难，需要有经验的专家。

[clop]

一秒十几万记录是什么数据啊，短信也没这么多吧
必须cluster+负载均衡

[WWWWA]

这个数据量，恐怕只有ORACLE胜任了

[ACMAIN_CHM]

[Quote]一秒钟有十几万条记录产生[/Quote]这个估计没什么单个服务器的数据库能支持住。1秒150K记录，每毫秒150个记录，你的网络如何设计？ 你的磁盘IO如何设计？ 你的存储访问如何设计？ 目前的单机系统估计难。


考虑一下多台服务器来做负载均衡。

[士居坡西]

你的用户是百度谷歌吧?

[kyle315]

[Quote=引用 13 楼 acmain_chm 的回复:]

无论是ORACLE或者DB2，这样的大的IO，单台普通计算机服务器肯定不行。 同样如果是多机，则不管是MYSQL还是ORACLE都可以。但关键是这个集群很难，需要有经验的专家。
[/Quote]
MySQL集群的可靠性如何？

[kyle315]

另外，大家有无在生产环境使用过MySQL+NoSQL，哪种NoSQL技术更成熟些？我想尽量在MySQL上去改进，ORACLE授权太贵了。

[liguiju]

楼主的大数据处理环境使用HBase+Hadoop+Hive，做分布式存储，后期做分布式计算，数据统计分析，挖掘之类的是一个可取的方案，可以说是解决这个大数据量利器。

[2399]

学习ing