如何实现两个数据库之间的数据转换？

calfly_cn 2010-10-25 05:10:42

DB1 和 DB2 ，两个库有相同内容的数据，但是具体格式不太一样，需要转换，并同步更新

原来在WEB界面上做了一个转换页面，但是后来数据量比较大，超过十万行了，这种形式不行了，超时

请问有什么别的合适的办法？

...全文

195 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

alfred_2006 2010-10-25

打赏
举报

回复

可以使用DTS，或者Intergration server，都是可以的

z812183667 2010-10-25

打赏
举报

回复

用ETL吧，把那个数据转换做到Winform上面！

dawugui 2010-10-25

打赏
举报

回复

[Quote=引用楼主 calfly_cn 的回复:]
DB1 和 DB2 ，两个库有相同内容的数据，但是具体格式不太一样，需要转换，并同步更新

原来在WEB界面上做了一个转换页面，但是后来数据量比较大，超过十万行了，这种形式不行了，超时

请问有什么别的合适的办法？
[/Quote]
将需要转换的数据集中起来,定时使用程序去分别更新.
只用数据库的功能不容易实现.

帮顶.

claro 2010-10-25

打赏
举报

回复

分批闲时更新。

编写自定义脚本，定期从源数据库提取数据，进行计算处理后，同步到目标数据库。操作步骤：编写脚本：编写脚本（如Python、Bash），从源数据库提取数据，进行计算处理。连接数据库：在脚本中配置源和目标数据库连接。处理数据：在脚本中进行计算处理。同步数据：将处理后的数据插入到目标数据库。计划任务：使用任务调度工具（如cron）定期运行脚本。工具Python脚本（使用库如pandas、SQLAlchemy）Shell脚本PowerShell脚本对于大数据量和复杂数据处理。

JadePool为广大Java工作者提供了许多简洁实用的方法，如果需要实现不同数据库之间的数据交换，使用JadePool十分方便。这是十分有价值的实践活动，比如，在网站的数据管理中，我们需要将远程数据库的数据保存到本地数据库中，将SQL Server数据库的数据保存到Oracle中，等等。 1、建立远程数据库的连接： public static synchronized Conne

前期回顾：⼤数据是如何产⽣的？大数据的特点是什么？什么是埋点？如何进行数据埋点？【超详细介绍】对于这么多种类，这么大体量的数据是如何存储的呢？所以数据仓库就应景而生了。目录数据仓库（数据是如何存储的）1 什么是数据仓库？2 数据仓库解决什么问题？3 数据仓库的主要特征4 数据仓库与数据库区别5 数据仓库架构6 数据仓库元数据管理什么是元数据？元数据具体的工作内容元数据分为技术元数据和业务元数据7 数据治理脏数据的种类数据治理原则知识拓展（数据集市）结束语数据仓库（数据是如何存储的） 1 什么是数据

问题描述：现有两个数据库，xg系统和oa系统。要实现这两个数据库之间的数据同步。学⼯系统在进⾏新增或者变更时，需要在OA系统中进⾏相应变化；需要了解的知识点：1. JDBC(1) JDBC:java database connectivity SUN公司提供的一套操作数据库的标准规范。(2) 本项目通过jdbc协议建立与Mysql数据库的连接2. 连接池(1) DBCP：Apache推出的Dat...

技术不佳，这个问题困扰了我一天，最终用merge解决~~ 问题来源呐就是： test1表新增了一个PSAM字段,test2表里面有所有的PSAM字段值，两个表根据 MERCHANT_ID 和TERMINAL_ID 来对应，一个MERCHANT_ID 对应多个TERMINAL_ID字段，因为数据量庞大，达到万条，所以需要用到merge来解决 sql语句： MERGE INTO test1 A USING ( SELECT DISTINCT e.TERMINAL_ID, e.PSAM

22,302

社区成员

121,734

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章