22,210
社区成员
发帖
与我相关
我的任务
分享当DTS处理大量数据
我目前做的一个DTS包，是把Informix数据库的几张表导入SQL DB,
其中涉及2张表都有8百多万笔记录，还有的是几十万笔的，
没有太多处理，只是简单的数据转换，
可以看到每处理有8百万纪录的表，开始执行转换数据任务这个步骤的时候很快，
是以每秒1000笔的速度在刷新，
但是等处理到剩最后那几千笔资料的时候可能要一两个小时，
（1）试问各位高手是否遇到过类似问题，出现这样的状况正常吗？
（2）执行包让多个数据转换任务同时启动转得快，还是手动一个个的执行数据转换任务快？
其中涉及2张表都有8百多万笔记录，还有的是几十万笔的，
没有太多处理，只是简单的数据转换，
可以看到每处理有8百万纪录的表，开始执行转换数据任务这个步骤的时候很快，
是以每秒1000笔的速度在刷新，
但是等处理到剩最后那几千笔资料的时候可能要一两个小时，
（1）试问各位高手是否遇到过类似问题，出现这样的状况正常吗？
（2）执行包让多个数据转换任务同时启动转得快，还是手动一个个的执行数据转换任务快？
...全文
请发表友善的回复…
发表回复
hwb686 2005-12-27
- 打赏
- 举报
我也碰到过类似现象
个人认为,可能后面更多的时间是花在建索引了
个人认为,可能后面更多的时间是花在建索引了
lanhua1219 2005-12-02
- 打赏
- 举报
在数据库里用批处理？没用过啊！
我自己导过很多次了，都是这种状况哦，不懂原因
特别期待DTS高手来给点解释。。。。。
我自己导过很多次了，都是这种状况哦，不懂原因
特别期待DTS高手来给点解释。。。。。
netcoder 2005-12-02
- 打赏
- 举报
还真没有做过这样的测试
感觉就象复制文件，是一个一个复制呢？还是一次性复制多个？
手动吧，试试看
有空最好自己测一下，测完别忘了把结果贴出来呵呵
感觉就象复制文件，是一个一个复制呢？还是一次性复制多个？
手动吧，试试看
有空最好自己测一下，测完别忘了把结果贴出来呵呵
vovo2000 2005-12-02
- 打赏
- 举报
用批处理吧。应该会快点。对于你的问题因为不知道细节，不敢猜测。
