社区
MySQL
帖子详情
超级大容量数据库设计问题,年存储4万亿条记录。
kyle315
2011-08-26 12:01:02
一秒钟有十几万条记录产生,一年有将近4万亿条记录产生,数据量非常之大,目前也有好多用户都提出了类似的要求,请教各位大神,有无可行的方案,不限数据库(目前使用MySQL,无法满足要求),只要能满足要求,关系型数据库、NoSQL数据库都行,请注明实现的方式,多谢。
说明:
1.不考虑超级服务器,太贵,但8核之类的服务器还可以接受;
2.除了检索,还要进行数据统计分析,可能会针对1年的数据进行分析,需要保证统计性能;
...全文
339
18
打赏
收藏
超级大容量数据库设计问题,年存储4万亿条记录。
一秒钟有十几万条记录产生,一年有将近4万亿条记录产生,数据量非常之大,目前也有好多用户都提出了类似的要求,请教各位大神,有无可行的方案,不限数据库(目前使用MySQL,无法满足要求),只要能满足要求,关系型数据库、NoSQL数据库都行,请注明实现的方式,多谢。 说明: 1.不考虑超级服务器,太贵,但8核之类的服务器还可以接受; 2.除了检索,还要进行数据统计分析,可能会针对1年的数据进行分析,需要保证统计性能;
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
18 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
2399
2011-08-28
打赏
举报
回复
学习ing
liguiju
2011-08-26
打赏
举报
回复
楼主的大数据处理环境使用HBase+Hadoop+Hive,做分布式存储,后期做分布式计算,数据统计分析,挖掘之类的是一个可取的方案,可以说是解决这个大数据量利器。
kyle315
2011-08-26
打赏
举报
回复
另外,大家有无在生产环境使用过MySQL+NoSQL,哪种NoSQL技术更成熟些?我想尽量在MySQL上去改进,ORACLE授权太贵了。
kyle315
2011-08-26
打赏
举报
回复
[Quote=引用 13 楼 acmain_chm 的回复:]
无论是ORACLE或者DB2,这样的大的IO,单台普通计算机服务器肯定不行。 同样如果是多机,则不管是MYSQL还是ORACLE都可以。但关键是这个集群很难,需要有经验的专家。
[/Quote]
MySQL集群的可靠性如何?
士居坡西
2011-08-26
打赏
举报
回复
你的用户是百度谷歌吧?
ACMAIN_CHM
2011-08-26
打赏
举报
回复
[Quote]一秒钟有十几万条记录产生[/Quote]这个估计没什么单个服务器的数据库能支持住。1秒150K记录,每毫秒150个记录,你的网络如何设计? 你的磁盘IO如何设计? 你的存储访问如何设计? 目前的单机系统估计难。
考虑一下多台服务器来做负载均衡。
WWWWA
2011-08-26
打赏
举报
回复
这个数据量,恐怕只有ORACLE胜任了
clop
2011-08-26
打赏
举报
回复
一秒十几万记录是什么数据啊,短信也没这么多吧
必须cluster+负载均衡
ACMAIN_CHM
2011-08-26
打赏
举报
回复
无论是ORACLE或者DB2,这样的大的IO,单台普通计算机服务器肯定不行。 同样如果是多机,则不管是MYSQL还是ORACLE都可以。但关键是这个集群很难,需要有经验的专家。
coder000
2011-08-26
打赏
举报
回复
DB2啊DB2
加油馒头
2011-08-26
打赏
举报
回复
按天 分表 分库
iihero
2011-08-26
打赏
举报
回复
NoSQL
wwwwb
2011-08-26
打赏
举报
回复
[Quote=引用 8 楼 mysqldbd 的回复:]
引用 1 楼 wwwwa 的回复:
这个数据量,恐怕只有ORACLE胜任了
DB2的数据库也可以满足楼主的要求的。
[/Quote]
哦,对DB2不是很熟悉,IBM的大型数据库?
mysqldbd
2011-08-26
打赏
举报
回复
[Quote=引用 1 楼 wwwwa 的回复:]
这个数据量,恐怕只有ORACLE胜任了
[/Quote]
DB2的数据库也可以满足楼主的要求的。
daodaoyu222
2011-08-26
打赏
举报
回复
楼主瞎折腾。。
什么项目,,有这么大请求啊。
微醺-BW
2011-08-26
打赏
举报
回复
一秒钟有十几万条记录产生,太厉害了!
zhaojianmi1
2011-08-26
打赏
举报
回复
hadoop
rucypli
2011-08-26
打赏
举报
回复
前使用MySQL,无法满足要求
为什么
MySQL
数据库
如何解决大数据量
存储
问题
利用MySQL
数据库
如何解决大数据量
存储
问题
? 各位高手您们好,我最近接手公司里一个比较棘手的
问题
,关于如何利用MySQL
存储
大数据量的
问题
,主要是
数据库
中的两张历史数据表,一张模拟量历史数据和一张开关量历史数据表,这两张表字段
设计
的很简单(OrderNo,Value,DataTime)。基本上每张表每天可以增加几千万
条
数据,我想问如何
存储
数据才能不影响检索速度呢?需不需要换oracle数据
大数据量
数据库
设计
与优化方案
一、
数据库
结构的
设计
如果不能
设计
一个合理的
数据库
模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能。所以,在一个系统开始实施之前,完备的
数据库
模型的
设计
是必须的。 在一个系统分析、
设计
阶段,因为数据量较小,负荷较低。我们往往只注意到功能的实现,而很难注意到性能的薄弱之处,等到系统投入实际运行一段时间后,才发现系统的性
mysql
数据库
容量估算_
数据库
性能与容量评估
一、
数据库
设计
1、表结构
设计
-表中的自增列(auto_increment属性)推荐使用bigint类型-首选使用非空的唯一键, 其次选择自增列或发号器不使用更新频繁的列,尽量不选择字符串列,不使用UUID MD5 HASH-业务中选择性很少的状态status、类型type等字段推荐使用tinytint或者smallint类型-业务中IP地址字段推荐使用int类型-业务活跃的大表中必须有行数据的创建...
数据库
存储
大数据量(千万
条
记录
级别)数据的考虑要点
分区 将
数据库
分区可提高其性能并易于维护。通过将一个大表拆分成更小的单个表,只访问一小部分数据的查询可以执行得更快,因为需要扫描的数据较少。而且可以更快地执行维护任务(如重建索引或备份表)。 实现分区操作时可以不拆分表,而将表物理地放置在个别的磁盘驱动器上。例如,将表放在某个物理驱动器上并将相关的表放在与之分离的驱动器上可提高查询性能,因为当执行涉及表之间联接的查询时,多个磁头同时读取数据
oracle
数据库
最大量,Oracle 10g
数据库
的最
大容量
在Oracle 10g 的database concepts上提到,Oracle 10g的最
大容量
是8exabytes(EB),1EB=1024PB=1048576TB,这是一个相当大的数据了。还没有听说过单个库的容量达到这么大的。(虽然现实中有达到EB级别的数据量的,但那是很多个库的数据量的合计,而不是单个库。)我们看看这8EB是怎么计算来的:Oracle 10g的数据文件最多可以有64K个,对...
MySQL
56,914
社区成员
56,754
社区内容
发帖
与我相关
我的任务
MySQL
MySQL相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MySQL相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章