每秒钟写入10万条记录,能做到不?

bugs2k 2012-08-02 09:45:37
最近领导有点发疯,要求我们必须做到满足每秒写入10万条记录,每条记录大概 1k 字节左右。
请问各位大牛,哪种数据库系统可以满足要求?采用何种架构?
非常感谢您的回复!
...全文
1214 40 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
40 条回复
切换为时间正序
请发表友善的回复…
发表回复
苏格拉低 2014-07-26
  • 打赏
  • 举报
回复
感觉 的确 难度很大, 高端
ComBat_Func 2014-07-13
  • 打赏
  • 举报
回复
不切实际; 1秒写10W次如果针对单表肯定不可能。但如果真是这种情况,更多的需要在架构上下点功夫吧! 多服务器,分表分区
3文丰 2014-07-09
  • 打赏
  • 举报
回复
希望看到解决方法
The_Third_Wave 2014-07-08
  • 打赏
  • 举报
回复
引用 14 楼 bugs2k 的回复:
ssd 指的是什么?
大神怎么不知道SSD,很奇怪啊!
Rotel-刘志东 2012-11-27
  • 打赏
  • 举报
回复
推存NoSQL应该能满足需求的。其他的关系型的数据库达不到的。
audi2 2012-11-27
  • 打赏
  • 举报
回复
最近双核2G家用机上实现了1万/秒
jsonyv 2012-10-23
  • 打赏
  • 举报
回复
坐等高人,学习学习!
夜夜风_ 2012-10-16
  • 打赏
  • 举报
回复
写操作全部用上了啊,那如果当时有其他程序要读写硬盘怎么办?可以用缓存吗?然后调度一下优先级....还是看看高人解答
  • 打赏
  • 举报
回复
要做这么大一个应用,想偷偷用D版是不可能的。
  • 打赏
  • 举报
回复
硬件本身不是大问题,简单的分布式足够满足。
但软件的瓶颈才是大问题,所以选择合适的数据库才是最重要的。
这种情况,选择NOSQL类型的数据库是最好的选择,它们就是为这个研发的。谷歌,脸谱,Amazon等等都在用。
给你援引一下相关说明:

NoSQL,指的是非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。
海量数据的存储如果选用大型商用数据,如Oracle,那么整个解决方案的成本是非常高的,要花很多钱在软硬件上。NoSQL分布式存储,可以部署在廉价的硬件上,是一个性价比非常高的解决方案。
llpyemao 2012-10-14
  • 打赏
  • 举报
回复
[Quote=引用 28 楼 的回复:]
引用楼主 的回复:
最近领导有点发疯,要求我们必须做到满足每秒写入10万条记录,每条记录大概 1k 字节左右。
请问各位大牛,哪种数据库系统可以满足要求?采用何种架构?
非常感谢您的回复!


SSD混合盘+RAID, 多个库分写,可以达到。关键是你们这个业务是什么样的分布情况。
话说,这么密集的写,历史数据如何处理?
有点像是实时数据采集的味道。
[/Quote]


不错,好办法
  • 打赏
  • 举报
回复
很诱人的标题,10W per second,肯定是分库,集群。使用专用的数据库服务器,像DB2之类的。
注意需要考虑数据库的维护。
iihero 2012-10-12
  • 打赏
  • 举报
回复
[Quote=引用楼主 的回复:]
最近领导有点发疯,要求我们必须做到满足每秒写入10万条记录,每条记录大概 1k 字节左右。
请问各位大牛,哪种数据库系统可以满足要求?采用何种架构?
非常感谢您的回复!
[/Quote]

SSD混合盘+RAID, 多个库分写,可以达到。关键是你们这个业务是什么样的分布情况。
话说,这么密集的写,历史数据如何处理?
有点像是实时数据采集的味道。
heavstar 2012-10-12
  • 打赏
  • 举报
回复
路过,等结果
woqutech 2012-10-11
  • 打赏
  • 举报
回复
建议MySQL不要一台机器撑,而是尽量拆分,用多个MySQL来拆分压力,分布式解决。否则你数据插入的时候数据库其他的事情都不要做了。
展S开K双Y翼 2012-10-11
  • 打赏
  • 举报
回复
硬件要足够好才有可能,而且还要集群,分片什么的
北大青蛙 2012-08-19
  • 打赏
  • 举报
回复
很好奇,什么行业需要这么牛X?
兼哲 2012-08-19
  • 打赏
  • 举报
回复
没啥好纠结的
bugs2k 2012-08-19
  • 打赏
  • 举报
回复
继续纠结中...
兼哲 2012-08-06
  • 打赏
  • 举报
回复
果然又到这里来问了
加载更多回复(19)

56,863

社区成员

发帖
与我相关
我的任务
社区描述
MySQL相关内容讨论专区
社区管理员
  • MySQL
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧