社区
MySQL
帖子详情
每秒钟写入10万条记录,能做到不?
bugs2k
2012-08-02 09:45:37
最近领导有点发疯,要求我们必须做到满足每秒写入10万条记录,每条记录大概 1k 字节左右。
请问各位大牛,哪种数据库系统可以满足要求?采用何种架构?
非常感谢您的回复!
...全文
1214
40
打赏
收藏
每秒钟写入10万条记录,能做到不?
最近领导有点发疯,要求我们必须做到满足每秒写入10万条记录,每条记录大概 1k 字节左右。 请问各位大牛,哪种数据库系统可以满足要求?采用何种架构? 非常感谢您的回复!
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
40 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
苏格拉低
2014-07-26
打赏
举报
回复
感觉 的确 难度很大, 高端
ComBat_Func
2014-07-13
打赏
举报
回复
不切实际; 1秒写10W次如果针对单表肯定不可能。但如果真是这种情况,更多的需要在架构上下点功夫吧! 多服务器,分表分区
3文丰
2014-07-09
打赏
举报
回复
希望看到解决方法
The_Third_Wave
2014-07-08
打赏
举报
回复
引用 14 楼 bugs2k 的回复:
ssd 指的是什么?
大神怎么不知道SSD,很奇怪啊!
Rotel-刘志东
2012-11-27
打赏
举报
回复
推存NoSQL应该能满足需求的。其他的关系型的数据库达不到的。
audi2
2012-11-27
打赏
举报
回复
最近双核2G家用机上实现了1万/秒
jsonyv
2012-10-23
打赏
举报
回复
坐等高人,学习学习!
夜夜风_
2012-10-16
打赏
举报
回复
写操作全部用上了啊,那如果当时有其他程序要读写硬盘怎么办?可以用缓存吗?然后调度一下优先级....还是看看高人解答
碧海情天-赵亮
2012-10-14
打赏
举报
回复
要做这么大一个应用,想偷偷用D版是不可能的。
碧海情天-赵亮
2012-10-14
打赏
举报
回复
硬件本身不是大问题,简单的分布式足够满足。
但软件的瓶颈才是大问题,所以选择合适的数据库才是最重要的。
这种情况,选择NOSQL类型的数据库是最好的选择,它们就是为这个研发的。谷歌,脸谱,Amazon等等都在用。
给你援引一下相关说明:
NoSQL,指的是非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。
海量数据的存储如果选用大型商用数据,如Oracle,那么整个解决方案的成本是非常高的,要花很多钱在软硬件上。NoSQL分布式存储,可以部署在廉价的硬件上,是一个性价比非常高的解决方案。
llpyemao
2012-10-14
打赏
举报
回复
[Quote=引用 28 楼 的回复:]
引用楼主 的回复:
最近领导有点发疯,要求我们必须做到满足每秒写入10万条记录,每条记录大概 1k 字节左右。
请问各位大牛,哪种数据库系统可以满足要求?采用何种架构?
非常感谢您的回复!
SSD混合盘+RAID, 多个库分写,可以达到。关键是你们这个业务是什么样的分布情况。
话说,这么密集的写,历史数据如何处理?
有点像是实时数据采集的味道。
[/Quote]
不错,好办法
去圣西罗-为尤文喝彩
2012-10-12
打赏
举报
回复
很诱人的标题,10W per second,肯定是分库,集群。使用专用的数据库服务器,像DB2之类的。
注意需要考虑数据库的维护。
iihero
2012-10-12
打赏
举报
回复
[Quote=引用楼主 的回复:]
最近领导有点发疯,要求我们必须做到满足每秒写入10万条记录,每条记录大概 1k 字节左右。
请问各位大牛,哪种数据库系统可以满足要求?采用何种架构?
非常感谢您的回复!
[/Quote]
SSD混合盘+RAID, 多个库分写,可以达到。关键是你们这个业务是什么样的分布情况。
话说,这么密集的写,历史数据如何处理?
有点像是实时数据采集的味道。
heavstar
2012-10-12
打赏
举报
回复
路过,等结果
woqutech
2012-10-11
打赏
举报
回复
建议MySQL不要一台机器撑,而是尽量拆分,用多个MySQL来拆分压力,分布式解决。否则你数据插入的时候数据库其他的事情都不要做了。
展S开K双Y翼
2012-10-11
打赏
举报
回复
硬件要足够好才有可能,而且还要集群,分片什么的
北大青蛙
2012-08-19
打赏
举报
回复
很好奇,什么行业需要这么牛X?
兼哲
2012-08-19
打赏
举报
回复
没啥好纠结的
bugs2k
2012-08-19
打赏
举报
回复
继续纠结中...
兼哲
2012-08-06
打赏
举报
回复
果然又到这里来问了
加载更多回复(19)
面试官:消息中间件(kafka)如何实现每秒几十万的高并发
写入
?
“这篇文章来聊一下Kafka的一些架构设计原理,这也是互联网公司面试时非常高频的技术考点。 Kafka是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发
写入
。 那么Kafka到底是如何做到这么高的吞吐量和性能的呢?这篇文章我们来一点一点说一下。 1、页缓存技术 + 磁盘顺序...
每秒处理
10
万订单支付架构
一、库分表在redis,memcached等缓存系统盛行的互联网时代,构建一个支撑每秒十万只读的系统并不复杂,无非是通过一致性哈希扩展缓存节点,水平扩展web服务器等。支付系统要处理每秒十万笔订单,需要的是每秒数十万的数据库更新操作(insert加update),这在任何一个独立数据库上都是不可能完成的任务,所以我们首先要做的是对订单表(简称order)进行分库与分表。在进行数据库操作时,一般都会有
通过问题了解rocketmq
1、说说你们公司线上生产环境用的是什么消息中间件? RabbitMQ:erlang语言开发,开发者想看源码时成本较高,不过社区活动度高。RabbitMQ对消息堆积不是很好,当大量消息堆积时会导致RabbitMQ的性能急剧下降。每秒可以处理几万到十几万的消息。 RocketMQ:阿里用Java语言开发的。面向互联网集群化功能丰富,对在线业务的响应时延做了很多的优化,大多数情况下可以做到毫秒级的响应,
每秒钟
大概能处理几十
万条
消息。 Kafka:Scala开发,面对日志功能丰富,性能最高。但当你的业务中
每秒钟
消息
MySQL数据库
10
秒内插入百
万条
数据 (多字段)【详解】
首先我们思考一个问题: 要插入如此庞大的数据到数据库,一定会频繁地访问数据库,什么样的机器设备都吃不消,如何避免频繁访问数据库,做到一次访问,再执行呢? Java其实已经给了我们答案。 这里就要用到两个关键对象:Statement、PrepareStatement 我们来看一下二者的特性: Statement对象每执行一条SQL语句都会先将SQL语句发送给数据库﹐数据库先编译SQL,再执行。 prepareStatement对象会先将S...
缓存之redis----每秒可以处理超过
10
万次读写操作!!!
1.什么是Redis Redis:是一个使用 C 语言编写的,开源的(BSD许可)高性能非关系型(NoSQL)的键值对数据库。 2.Redis 可以怎么用 (1)存储键和五种不同类型的值之间的映射 (2)键的类型只能为字符串,值支持五种数据类型:字符串、列表、集合、散列表、有序集合 (3)与传统数据库不同的是 Redis 的数据是存在内存中的,所以读写速度非常快,是已知性能最快的Key-Value DB。 (3)redis有怎么其他用途 Redis 也经常用来做分布式锁,支持事务 、持...
MySQL
56,863
社区成员
56,753
社区内容
发帖
与我相关
我的任务
MySQL
MySQL相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MySQL相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章