62,628
社区成员
发帖
与我相关
我的任务
分享数据迁移问题，求大家给建议
我现在手上有个项目，做数据的迁移，要求是将数据库A的数据迁移到数据库B中去。
现在大状况如下:
1) A中的表结构和B中的表结构大致相同，但略有差异，如A中有某些字段B中没有，A中字段结构为Number，B中变为VARCHAR。
2) 数据量也比较大，每张表少的有100万，多的有上千万。而且有些BLOB存储的还是附件文件。
3) 两个数据库肯定不在一台server上，是跨互联网的。
请问前辈能否给点建议，我用Oracle代码做还是用JAVA 做？要求如下：
1） 保证数据的完整性，数据不能丢。
2）效率不能太低。
3）尽量考虑操作的简便性。因为我是给客户提供代码，让他们自己去操作。
现在大状况如下:
1) A中的表结构和B中的表结构大致相同，但略有差异，如A中有某些字段B中没有，A中字段结构为Number，B中变为VARCHAR。
2) 数据量也比较大，每张表少的有100万，多的有上千万。而且有些BLOB存储的还是附件文件。
3) 两个数据库肯定不在一台server上，是跨互联网的。
请问前辈能否给点建议，我用Oracle代码做还是用JAVA 做？要求如下：
1） 保证数据的完整性，数据不能丢。
2）效率不能太低。
3）尽量考虑操作的简便性。因为我是给客户提供代码，让他们自己去操作。
...全文
请发表友善的回复…
发表回复
木子0204 2016-10-10
- 打赏
- 举报
对于oracle来说100万条数据应该不算多吧
木子0204 2016-10-10
- 打赏
- 举报
建议楼主采用一楼的办法进行处理吧
那样风险会小点
sky_08_06_02 2016-10-10
- 打赏
- 举报
纸上谈瓜 2016-10-09
- 打赏
- 举报
这涉及到oracle的字段类型不同和blog字段问题，直接dump导入或者数据泵dmp文件导入都会出现问题。这需要写程序至少对这2种情况判断，
NewMoons 2016-10-09
- 打赏
- 举报
我觉得这种一次性的需求还是采用1楼的方法比较好。
如果是客户考虑到数据安全性要求必须自己操作的话，那也只能使用java来做了，都不在一个局域网内，用oracle代码不现实。
如果需求是数据合并而不是数据覆盖，那就算是自己操作1楼的方法也不行。
只能使用java代码一张张的表处理，提高效率的话可以使用socket通信加多线程处理（用线程池控制并发数，一个线程处理一张表）。
NewMoons 2016-10-09
- 打赏
- 举报
楼主说了只提供软件实现，客户自己去操作。
捏造的信仰 2016-10-09
- 打赏
- 举报
简单的办法应该是 A 库导出 dump 文件，然后导入到 B 库，然后再修改表结构使之与 B 库的最终要求一致。
