社区
其他数据库
帖子详情
要做一个数据库迁移工具,求教些问题
香辣牛肉面
2011-11-15 08:40:38
加精
把一个数据库的源表的某个字段映射到另一个数据库的目标表的某个字段,实现目标表的数据与源表同步,请问有什么方法可以来判断源表的哪些数据已经被同步到目标表,在下次同步的时候直接跳过已经同步的数据咯
...全文
1082
78
打赏
收藏
要做一个数据库迁移工具,求教些问题
把一个数据库的源表的某个字段映射到另一个数据库的目标表的某个字段,实现目标表的数据与源表同步,请问有什么方法可以来判断源表的哪些数据已经被同步到目标表,在下次同步的时候直接跳过已经同步的数据咯
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
78 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
「已注销」
2012-01-19
打赏
举报
回复
多说一句,独立完成所指是仅在数据库这个层次上单独完成。与业务、程序等无关。
所以说限制多多。如果你要评估这样的需求,那么就把所有的限定条件提出来,好让专精于某种数据库应用之类的人给你确切的解答,以提供你方案是否可行的依据。然后做出评估。
太笼统的问题没有意义。
「已注销」
2012-01-19
打赏
举报
回复
1 是同步还是迁移。
2 如果是同步是实时同步还是准实时同步
3 如果是实时同步那它一定不是数据库迁移
4 无论什么同步,要检查过往是否存在未同步数据并再次同步,这几乎都是不可能的。除非确切的如楼主所说,仅需要同步一个指定的字段并且是准实时同步。这样的同步肯定不能做成实时同步(至少要用事务,可能还有分布式数据仓库,并且引入了危险)。
楼主可能说的是sql server中的应用?实时同步的限制很多。想要用它实现这么天方夜谭的想法很难。
类似这样的需求基本没有什么数据库能独立完成(如果要保证性能的话)。
zhaoymo
2011-12-20
打赏
举报
回复
这个、这个,难哪
hualiang_ll
2011-12-08
打赏
举报
回复
[Quote=引用 69 楼 ycagri 的回复:]
根据我的经验,我从事过三种同步的方式
1、作业加存储过程的方式,需要将另一台服务器注册过来,以免数据库远程连接的过程
直接采用的是insert into ......select from 的方式,作业同步的时候,会先取目标表中最大的时间,然后将源表中大于目标表最大时间的记录都插入过来
2、触发器加程序方式,新建一个跟同步表结构相同的表,加一个字段,类型字段,用I表示插入,U表示更新……
[/Quote]
这个朋友的方法好.
KentYung
2011-11-28
打赏
举报
回复
学习中,希望看到高手的解答
jfjjh
2011-11-25
打赏
举报
回复
不是很清楚的个【
ycagri
2011-11-24
打赏
举报
回复
没能尝试过完全意义上的同步,那应该会进行全表比较,否则不可能做到真正意义上的同步
ycagri
2011-11-24
打赏
举报
回复
根据我的经验,我从事过三种同步的方式
1、作业加存储过程的方式,需要将另一台服务器注册过来,以免数据库远程连接的过程
直接采用的是insert into ......select from 的方式,作业同步的时候,会先取目标表中最大的时间,然后将源表中大于目标表最大时间的记录都插入过来
2、触发器加程序方式,新建一个跟同步表结构相同的表,加一个字段,类型字段,用I表示插入,U表示更新,D表示删除,在源表上建Insert、update、Delete触发器,将源表的每一次改变都触发到这张新表里,转发程序会定时扫描这张表,如果有记录将记录转发走,同时清空此表。目标接收程序收到数据后,会根据类型字段来处理相应的数据,是插入还是更新还是删除。
3、纯程序方式,先设置一个同步数据的时间起点,将大于此时间点的数据都转发走,同时将同步时间设置为当前的时间,转发程序定期的的执行,如果有大于转发时间的记录数据就转发
you52034
2011-11-23
打赏
举报
回复
太深奥了,有点看不懂。
caoatcao
2011-11-23
打赏
举报
回复
用vc里的_ConnectingPtr只能指针连接ADO数据库 很简单的 我上周刚做了这个工作
tianshanxueyu
2011-11-22
打赏
举报
回复
可不可以借助一些数据抽取或迁移的软件,并定时运行源数据到目标数据表的迁移工作,并在报错的记录中查看相应的迁移情况
zhengyanghui
2011-11-22
打赏
举报
回复
这个只能具体问题具体对待了
如果有顺序的ID,或者有更新时间之类的字段就可以直接用
如果没规律可能就没办法了
panzongpan
2011-11-21
打赏
举报
回复
等高手。。
maxchenwei
2011-11-21
打赏
举报
回复
太深奥了,有点看不懂。
hualiang_ll
2011-11-19
打赏
举报
回复
如果你用SQL Server数据库的话,里面已经带这个功能了,你可以用自带的这个功能来实现自己的需求。
lazygirlgo
2011-11-19
打赏
举报
回复
根据关键字,做同步记录试试应该可以的。。我同学做过相关的。
搞什么哦
2011-11-19
打赏
举报
回复
1、在源表与目标表中增加一张增量记录表,源表变化时将变化的数据在源表中的主键和变化动作记到增量表中;
2、目标表定时处理增量表,根据增量中记录的动作和主键将数据同步到目标表中。
3、处理完的数据清除增量表,这样每次只需关心增量记录即可。
4、源表中可以采用出发器来记录增量,否则只能在业务逻辑中实现。
stszd604
2011-11-18
打赏
举报
回复
加时间戳?
lyh7736362
2011-11-18
打赏
举报
回复
把一个数据库的源表的某个字段映射到另一个数据库的目标表的某个字段,实现目标表的数据与源表同步,请问有什么方法可以来判断源表的哪些数据已经被同步到目标表,在下次同步的时候直接跳过已经同步的数据咯
wjlazio
2011-11-18
打赏
举报
回复
看看了,比较难。。。。
加载更多回复(25)
KingBase
数据库
迁移
利器:KDTS
工具
MySQL数据
迁移
到KingbaseES实战
本文介绍了使用KDTS
工具
将MySQL
数据库
迁移
至KingbaseES的全过程。涵盖了
迁移
前的准备、源与目标
数据库
连接配置、任务创建与执行,以及
迁移
后的日志查看与
问题
处理。通过KDTS提供的WEB和SHELL两种方式,简化了复杂的
迁移
流程,提升了
迁移
效率与可靠性。
5个步骤快速上手
数据库
迁移
工具
db-migration
本文介绍如何使用
数据库
迁移
工具
db-migration,涵盖环境配置、
迁移
脚本管理、团队协作及CI/CD集成等核心流程。该
工具
支持多种
数据库
,提供版本控制与安全回滚机制,适用于多环境协同开发,提升数据架构变更的可靠性与效率。
database.db 文件详解:
数据库
文件在 SQLite 中的作用与使用
本文详细介绍了 SQLite 中 database.db 文件的作用、生成原因、文件结构、查看与操作方法,以及安全备份策略。database.db 是 SQLite 默认的
数据库
文件,用于存储表结构、数据、索引等信息。文章还强调了
数据库
管理的重要性,并提供了常用
工具
和注意事项。
人大金仓(Kingbase)
数据库
迁移
——KDMS
工具
(人大金仓
数据库
迁移
工具
迁移
失败可使用此方法)
本文详细介绍了如何使用KDMS
工具
迁移
数据库
,特别是从MySQL到金仓
数据库
的过程。首先,通过KDMS
迁移
数据库
结构,然后利用Navicat15将MySQL8版本的数据
迁移
到低版本以配合金仓
工具
。在
迁移
过程中,需要注意版本兼容性、数据转换错误和在线评估
工具
的使用。最后,文章提供了转化失败时的解决建议和金仓社区资源。
数据库
迁移
的几种方式
本文介绍了多种
数据库
迁移
工具
,如DB2DB、SQLyog、oracle-to-mysql、MySQL Migration Toolkit、Navicat Premium以及ETL
工具
,并强调在大数据
迁移
时DB2DB的高性能。还提到了自定义程序(如JAVA、R、Python)作为
迁移
手段,以及网络速度对
迁移
速度的影响。
其他数据库
2,209
社区成员
9,519
社区内容
发帖
与我相关
我的任务
其他数据库
其他数据库开发 其他数据库
复制链接
扫一扫
分享
社区描述
其他数据库开发 其他数据库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章