Oracle 提高效率问题

灵犀Sword 2010-07-19 11:39:05

最近在做一个项目，对数据的插入效率要求很高..比如每一秒就会有1000条数据需要插入数据库中。同时在插入数据时有大量的业务逻辑..比如对传入数据中字符的处理截取等.主要是想知道需要使用什么方式来提高插入数据的性能!jdbc 队列处理？还是存储过程？或者还有其他好的方式

...全文

202 26 打赏收藏转发到动态举报

写回复

用AI写文章

26 条回复

切换为时间正序

请发表友善的回复…

发表回复

becameaeagle 2010-07-20

打赏
举报

学习学习
能不能做点触发器来减少业务逻辑处理？

fengshuo11 2010-07-20

打赏
举报

采用存储过程比较适合

灵犀Sword 2010-07-20

打赏
举报

不只是单单的插入在插入前做业务逻辑也是一部分...业务逻辑的时间是减少不了了但是尽量提高插入数据库的效率才是重点今天测试了下同时有10000台客户端就有问题了

火龙果被占用了 2010-07-20

打赏
举报

1 秒 1000 条只是个估计值，根据我的经验这种估计值比实际偏大 10 倍。

对酒当歌今夕何夕 2010-07-20

打赏
举报

也要注意硬件，这么高的IO, 保持网络硬盘系统，内存的负载
最后肯定还是空间换时间
大量缓存，快照，分时间段，多级查询等等

landyshouguo 2010-07-20

打赏
举报

[Quote=引用 11 楼 dinghun8leech 的回复:]
引用 6 楼 cooljia 的回复:
1. 使用多线程，在应用程序中将字符操作提前处理掉，简化oracle sql语句
2. 采用批量提交，避免每一个数据操作一个commit动作

我倒是觉得，通常字符串处理的速度远高于与数据库交互的速度，而数据入库肯定只能排队一个个来，因此此处使用多线程，似乎也只能让准备入库的数据队伍排的长点儿罢了，呵呵。
批量提交也是我能想到的唯一办法。嘿嘿。
……
[/Quote]
存储过程还是很合理的

xuyang840117 2010-07-20

打赏
举报

业务逻辑可以在程序中处理，然后在插入数据库

1秒钟插入10000条？这个有点夸张吧
你查询10000需要多久啊

还是插入临时表，然后在存储还是 ds 什么的批量处理吧

淅沥加油 2010-07-20

打赏
举报

不懂，来学习

laukie 2010-07-20

打赏
举报

推荐使用存储过程，

goalboy118 2010-07-20

打赏
举报

3楼的回答有道理

macower 2010-07-20

打赏
举报

最好的方式是使用存储过程那样效率是最高的

灵犀Sword 2010-07-20

打赏
举报

这是个短信平台中对于接受MO消息的处理因为该系统可能会同时接受100个国家的增值业务短信所以肯定会有大量的处理..忘高手们不要只是路过下..

icy_csdn 2010-07-20

打赏
举报

不知道是什么类的数据，每秒会有1K的数据插入？
1. 尽量减轻数据库的负担，让数据库只做它自己擅长的数据存储和检索，在提交数据库前做相关的校验和处理工作；
2. 一定要做缓存处理，先存放于内存（没有比这个速度更快的了），然后再批量提交数据库；
如果这样还不够（oracle该扔了），那你就应该考虑不能只靠一台数据库来支撑你的业务，考虑分布式存储。

不知道你们的系统中如何架构的，会同时有10000台客户端连接数据库？如果不能满足业务要求，应该重新考虑一下系统架构。

mycsdnhao 2010-07-19

打赏
举报

建缓冲机制，判断完后放到临时表中，定期(比如5分钟)导入到正式表；
或者校验转换完之后直接存成txt文件，定期(比如5分钟)用sql loader导进正式表。
sql loader的效率比insert要高出很多

sujianchinaouya 2010-07-19

打赏
举报

不懂观望中，

hitsnail 2010-07-19

打赏
举报

分次提交,使用preparestatement()的 batch方式,基本就达到你的要求了.

dinghun8leech 2010-07-19

打赏
举报

[Quote=引用 6 楼 cooljia 的回复:]
1. 使用多线程，在应用程序中将字符操作提前处理掉，简化oracle sql语句
2. 采用批量提交，避免每一个数据操作一个commit动作
[/Quote]
我倒是觉得，通常字符串处理的速度远高于与数据库交互的速度，而数据入库肯定只能排队一个个来，因此此处使用多线程，似乎也只能让准备入库的数据队伍排的长点儿罢了，呵呵。
批量提交也是我能想到的唯一办法。嘿嘿。