每秒写入10万条记录，能做到不？

bugs2k 2012-08-02 09:44:58

最近领导有点发疯，要求我们必须做到满足每秒写入10万条记录，每条记录大概 1k 字节左右。
请问各位大牛，哪种数据库系统可以满足要求？采用何种架构？
非常感谢您的回复！

...全文

1612 35 打赏收藏转发到动态举报

写回复

用AI写文章

35 条回复

切换为时间正序

请发表友善的回复…

发表回复

夏夏夏奇 2014-03-14

打赏
举报

帮顶，学习了

dreamer001 2014-03-14

打赏
举报

路过学习各种思路

流浪川 2014-03-04

打赏
举报

使用列存储型数据库是否能解决你的问题呢。。

haha_321 2014-03-04

打赏
举报

我就是看看。。。

九桥_小王 2014-03-04

打赏
举报

oracle数据库就完全可以啊，直路径加载，8w~12w /s/r

GISDev125 2014-02-24

打赏
举报

小可之前试过Oracle的OracleBulkCopy，10W条记录打开时在1.2-1.5s,字段数目是8个，已经很快乐嗯。在这种情况下，使用高速硬盘的话，应该可以向1s无限接近吧。

davidluo998 2014-02-14

打赏
举报

数据库集群+服务器集群+磁盘集群组，而且要相互协调一致，推荐甲骨文的一体机，可以达到十万次/秒的处理能力

ray_suen 2014-02-14

打赏
举报

我认为看你的程序架构，如果前面顶一个大内存库，分批次的处理到oracle，应该还是可以实现的，这个需要多方面的合作。

Fish-- 2014-01-07

打赏
举报

raid存储搞上~试试够不够~估计还是达不到的。你们领导本质的需求是什么?能不能利用内存数据库延迟写入？造成已经写入完成的假象。

崔胖胖 2014-01-06

打赏
举报

raid0磁阵

Northgale 2014-01-05

打赏
举报

你们的头不懂吧，就是TMD TB也扛不住啊

hbygxx 2013-12-17

打赏
举报

先写内存，然后内存再慢慢写数据库吧！

sw25465532 2013-10-10

打赏
举报

引用 11 楼 bjliuzg 的回复:

现在最好的固态硬盘读取速度也就能到400多M/S，写入速度更低点，也就200多吧。首先你的机器硬盘存储速度一定没有固态硬盘快，而且差的不是一星半点，这点你得承认，《明基 DP310s 移动硬盘，最大读取速度为30MB/S，最大写入速度为20MB/S，》，10万条数据*1K = 100*1024K = 100MB。你认为这个是程序可以解决的问题吗？

分给多个磁盘去写，怎么会做不到呢。

sych888 2013-10-03

打赏
举报

jf...........

天残地缺 2013-09-30

打赏
举报

都是高手的哇

Wentasy 2013-05-30

打赏
举报

引用 1 楼 Rexmax 的回复:

前段时间有个应用有这样的要求，对于每条记录128字节的数据要求每秒写入8000以上，于是花了些时间在这方面研究。服务器：linux 9 oracle 9i pIII+2GMEM+SCSI 网络： 100BASE-T 客户机: java 1.4 测试数据：每条长度128字节前段时间有个应用有这样的要求，对于每条记录128字节的数据要求每秒写入8000以上，于是花了些时间在这方面研究，做了一个轻量级（功能方面）的持久层。作了最好值、平均值、最差值的测试，分别是18000条/s,9900条/s,2090条/s。很容易想到的就是oracle 的copy命令，但是对于应用程序来讲显然是很不方便。下面是关于大批量数据写入的思路和注意事项： 1、不是写的频率越高写的速度就越快。写的频率与数据库服务器，硬件环境，网络环境均有关系。 2、不是与数据库联接越多就写的越快。 3、需要用到块写入。 4、不是一次写的块容量越大就越快。 5、需要一个缓冲区，来整形写入流量。 6、需要一种机制处理负载过大的情况。 7、当出现拥塞的时候需用优先级机制来保证重要的数据进行处理。对于目前的研究结果仍然有它的局限性： 1、没有会话处理机制 2、性能的调整需要相当丰富的经验 3、对于不同的数据库需要另写优化模块 4、只支持本地部署