1,111
社区成员
发帖
与我相关
我的任务
分享数据管道问题？请高手帮忙
我要从oracle数据库同步数据到informix中，数据量大约有1000万左右。
我想用数据管道处理，在建立管道的过程中informix中的datetime数据类型在语法中都显示为blob型，为什么？
还有其他处理的方法吗？哪种方法的效率最高？
我想用数据管道处理，在建立管道的过程中informix中的datetime数据类型在语法中都显示为blob型，为什么？
还有其他处理的方法吗？哪种方法的效率最高？
...全文
请发表友善的回复…
发表回复
wang661 2008-04-11
- 打赏
- 举报
li_d_s 说的对 会 memory out
现在通过oracle 导出为|分割的txt
然后通过informix load 进去
速度不错 40分钟左右
现在通过oracle 导出为|分割的txt
然后通过informix load 进去
速度不错 40分钟左右
wang661 2008-04-10
- 打赏
- 举报
那用什么呢？数据管道效率低
SKY_4K_PPM 2008-04-10
- 打赏
- 举报
PB的数据管道，效率太低！1000 万 要多久？十多个小时吧
INFORMIX数据库，俺没有用过.........
INFORMIX数据库，俺没有用过.........
li_d_s 2008-04-10
- 打赏
- 举报
如果机器性能不行，retrieve出200万以上纪录就会memory out了
li_d_s 2008-04-10
- 打赏
- 举报
楼上的有没有想过retrieve出1000万数据需要多少时间？嗬嗬
数据管道的字段类型对应关系可以改的阿
数据管道的字段类型对应关系可以改的阿
lllyyymmm 2008-04-10
- 打赏
- 举报
对于量这么大的数据,你只能一部份一部份来更新数据,如果你全部一次导的话,你的电脑会死掉,资源全部用光,你可以做两个连接,
一个是连接orcale,一个是连接informix,对于类型不一样的,你要用程序来转换.
一个是连接orcale,一个是连接informix,对于类型不一样的,你要用程序来转换.
I_am_Z 2008-04-10
- 打赏
- 举报
实在不行，就建2个事物对象，分别连接两个数据库。做个界面2个数据窗口分挂各事物。
将源数据检索出后，用dw1.object.data = dw2.object.data的方法，交换赋值，然后update表。
也可以考虑将2个数据窗口换成2个datastore，性能会提高不少。
但是毕竟是1000w的数据，况且2种库对对应字段的类型上是否可以匹配（比如oracle中的datetime类型在informix中是什么类型对应）
这个地方决定dw1.object.data = dw2.object.data该语句是否可以成功执行。
手里没有informix数据库，无法测试结果。
祝lz一切顺利。
将源数据检索出后，用dw1.object.data = dw2.object.data的方法，交换赋值，然后update表。
也可以考虑将2个数据窗口换成2个datastore，性能会提高不少。
但是毕竟是1000w的数据，况且2种库对对应字段的类型上是否可以匹配（比如oracle中的datetime类型在informix中是什么类型对应）
这个地方决定dw1.object.data = dw2.object.data该语句是否可以成功执行。
手里没有informix数据库，无法测试结果。
祝lz一切顺利。
