62,623
社区成员
发帖
与我相关
我的任务
分享同步数据库，求每秒万条的高效方法。或注意事项。
现需要从mysql、oracle、db2等数据库中，按照用户的条件使用代码高效的导出满足条件的记录，因为数据量大，所以要求每秒达到万条。
大哥大姐们，有好的方法嘛？或者有没有注意事项指引一下小弟啊。
大哥大姐们，有好的方法嘛？或者有没有注意事项指引一下小弟啊。
...全文
请发表友善的回复…
发表回复
wy158457 2006-12-11
- 打赏
- 举报
jf
lzj34 2006-12-11
- 打赏
- 举报
这是一个时期问题还是一个时点问题
你的两台服务器是内网还是外网+内网,还是全在
你的两台服务器是内网还是外网+内网,还是全在
rumlee 2006-12-11
- 打赏
- 举报
如果没有索引，估计插入会快一点。和你数据库的设计也会有很大的关系的。
DelphiStudy 2006-12-11
- 打赏
- 举报
记错了，好像是3000条/分钟，包含blob字段的，数据量小的话5000/分钟能达到
DelphiStudy 2006-12-11
- 打赏
- 举报
一般也就是3000条/秒，不过，若是向mysql写，1万条/秒应该没问题
hdhmail2000 2006-12-11
- 打赏
- 举报
这种要求不可能在java程序上面能达到了
只能从数据库本身到倒入功能来做
比如我以前做了ms sql的用bcp来导入就很快
别的数据库我想应该有相应工具的
楼主找找看了
这方面我想最好去数据库的板块去找
只能从数据库本身到倒入功能来做
比如我以前做了ms sql的用bcp来导入就很快
别的数据库我想应该有相应工具的
楼主找找看了
这方面我想最好去数据库的板块去找
bluesmile979 2006-12-11
- 打赏
- 举报
我想知道的是在写代码的时候有没有什么优化的方法，比如是用 perparedStatement 还是 statement 在查询数据库和写数据库的时候有没有什么更快的方法，和传统不一样的方法或概念呢？
如果是传统的方法，用 statement.execUpdate('insert') 这样也太慢了吧，能够达到要求吗？
----------------------------------------------
针对以上，我知道最快的应该是在数据库里写存储过程，然后在程序中调用。其他的可能跟你的数据库设计等等都有关系，你可以到数据库版去问问看，那里有几位很牛的老大。
如果是传统的方法，用 statement.execUpdate('insert') 这样也太慢了吧，能够达到要求吗？
----------------------------------------------
针对以上，我知道最快的应该是在数据库里写存储过程，然后在程序中调用。其他的可能跟你的数据库设计等等都有关系，你可以到数据库版去问问看，那里有几位很牛的老大。
pdvv 2006-12-11
- 打赏
- 举报
原来你是要通过代码进行读取写入操作，oracle、db2等大型数据库系统本身就有数据库同步功能。
如果通过代码来作，应该很难达到你的要求。
如果通过代码来作，应该很难达到你的要求。
strawbingo 2006-12-11
- 打赏
- 举报
如过是找优化的方法，建议用 perparedStatement
如果是你上面的问题，还是不知道要干什么
如果是你上面的问题，还是不知道要干什么
xplinhui 2006-12-11
- 打赏
- 举报
我想知道的是在写代码的时候有没有什么优化的方法，比如是用 perparedStatement 还是 statement 在查询数据库和写数据库的时候有没有什么更快的方法，和传统不一样的方法或概念呢？
如果是传统的方法，用 statement.execUpdate('insert') 这样也太慢了吧，能够达到要求吗？
如果是传统的方法，用 statement.execUpdate('insert') 这样也太慢了吧，能够达到要求吗？
fool_leave 2006-12-08
- 打赏
- 举报
条件判断是不是主键？
数据库大致结构怎么样，数据库可以重新设定吗？
数据库大致结构怎么样，数据库可以重新设定吗？
碧海情天-赵亮 2006-12-08
- 打赏
- 举报
说得过于含糊，原因也让人难以理解：就算数据量大，但是对于导出时间又规定是多久？为什么非要那么久？
楼主有自己尝试那么一两种方式去完成自己应该完成的工作吗？有的话，可以列举一些困难疑惑。只等现成的，能有进步吗？
楼主有自己尝试那么一两种方式去完成自己应该完成的工作吗？有的话，可以列举一些困难疑惑。只等现成的，能有进步吗？
strawbingo 2006-12-08
- 打赏
- 举报
总体数据量有多大
硬件环境怎么样
每条记录的大小是多少
不过我看很难达到万条的要求，万/秒，也就是60万/分，3600万/小时，10亿/天。
有点过分了
硬件环境怎么样
每条记录的大小是多少
不过我看很难达到万条的要求，万/秒，也就是60万/分，3600万/小时，10亿/天。
有点过分了
