社区
Oracle
帖子详情
关于数据同步的问题
nizainade
2008-03-18 10:45:59
源数据库和本地数据库都是oracle。
请问大家,当源数据库删除一条数据,本地数据库还存有这条数据时,在数据同步时怎么删除本地数据库中的这条数据?如果一条一条的对比,由于数据量大的问题会影响数据库的性能,出此之外有没有更好的方法?
...全文
139
13
打赏
收藏
关于数据同步的问题
源数据库和本地数据库都是oracle。 请问大家,当源数据库删除一条数据,本地数据库还存有这条数据时,在数据同步时怎么删除本地数据库中的这条数据?如果一条一条的对比,由于数据量大的问题会影响数据库的性能,出此之外有没有更好的方法?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
13 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
knowledge_Is_Life
2008-05-01
打赏
举报
回复
不会,帮顶
meiZiNick
2008-05-01
打赏
举报
回复
我也想知道,正在找這方面的資料~~~~~
UltraBejing
2008-05-01
打赏
举报
回复
有问题请先GOOGLE,BAIDU
super_ssy
2008-03-18
打赏
举报
回复
如果表有主键的话,你可以建立一个临时表,里面设置三个字段,
表名,主键值,动作(insert or delete or update)
HelloWorld_001
2008-03-18
打赏
举报
回复
是这样的。
如果表有主建的话,可以只建一张表
tablename 主建
nizainade
2008-03-18
打赏
举报
回复
那就是再建立十几个临时表,十几个触发器?
nizainade
2008-03-18
打赏
举报
回复
我也想触发器可以,但是采集资源的表有十几个表,那么要建立相应的临时表来记录删除的数据,然后建立相应的触发器。在删除数据时,触发器把删除的数据插入到相应的临时表里,这样做是不是有些麻烦?
HelloWorld_001
2008-03-18
打赏
举报
回复
用
一种思路,在源中使用触发器记录下操作的条件
做吧!
删除的时候记录下所有值
super_ssy
2008-03-18
打赏
举报
回复
还有种方法是通过日志做,不过具体怎么做我没做过
super_ssy
2008-03-18
打赏
举报
回复
一种思路,在源中使用触发器记录下操作的条件
二种思路,把源的那个表EXP出来,先把本地的那个表truncate掉,然后再IMP源表(但是数据量大的时候此方法只有理论上的意义)
nizainade
2008-03-18
打赏
举报
回复
不是啊,源数据库中数据的删除没有记录,同步时得不到删除条件
super_ssy
2008-03-18
打赏
举报
回复
用源中的删除条件,在本地数据库也用同样的条件去删除不就得了
ywq_jy
2008-03-18
打赏
举报
回复
学习了
Java架构师进阶(七)canal mysql
数据
同步
实战
Java架构师进阶:阶段(七)canal mysql
数据
同步
实战
关于
数据
同步
的几种实现
关于
数据
同步
的几种实现 概述 关于
数据
同步
主要有两个层面的
同步
,一是通过后台程序编码实现
数据
同步
,二是直接作用于
数据
库,在
数据
库层面实现
数据
的
同步
。通过程序编码实现
数据
同步
,其主要的实现思路很容易理解,即有就更新,无则新增,其他情况日志记录,就不做过多的介绍,这里主要讲述的是第二个层面的
数据
同步
,即在
数据
库层面实现
数据
同步
。
数据
库层面的
数据
库
同步
主要有三种方式:通过发布/订阅的方式实现
同步
数据
同步
问题
与解决方案:增量全量、
数据
漂移,
数据
更新、
一、增量与全量
同步
的合并
问题
:传统
数据
同步
方式为周期全量
数据
同步
,但随着业务发展
数据
量的急剧增加,周期全量
同步
的效率太低了。 解决方案:每个周期只
同步
增量
数据
,然后与上一个
同步
周期获取的全量
数据
进行合并,获取最新版本的全量
数据
。 传统
数据
整合方案:merge 方式(update + insert ); 当前大
数据
平台不支持 update 操作,而采用:全外连接(full outer join) +
数据
全覆盖重新加载(insert overwrite);(即如日调度,则将当天的增量
数据
和前一天的全
数据
同步
之全量
同步
与增量
同步
一、什么是
数据
同步
业务
数据
是
数据
仓库的重要
数据
来源,我们需要每日定时从业务
数据
库中抽取
数据
,传输到
数据
仓库中,之后再对
数据
进行分析统计。 为保证统计结果的正确性,需要保证
数据
仓库中的
数据
与业务
数据
库是
同步
的,离线数仓的计算周期通常为天,所以
数据
同步
周期也通常为天,即每天
同步
一次即可。
数据
的
同步
策略有全量
同步
和增量
同步
。 二、全量
同步
全量
同步
,就是每天都将业务
数据
库中的全部
数据
同步
一份到
数据
仓库,这是保证两侧
数据
同步
的最简单的方式...
大
数据
之路——
数据
同步
三、
数据
技术篇——
数据
同步
3.1
数据
同步
基础 @3.1.1 直连
同步
3.1.2
数据
文件
同步
3.1.3
数据
库日志解析
同步
3.2
数据
仓库
同步
方式3.2.1 批量
数据
同步
3.2.2 实时
数据
同步
3.3
同步
遇到的
问题
3.3.1 分库分表3.3.2 增量全量
同步
的合并@3.3.3
数据
漂移的处理 @ 有多种不同应用场景:主
数据
库和备份
数据
库之间的
数据
备份,主系统和子系统的
数据
更新,不用地域、
数据
库类型的
数据
传输交换 3.1
数据
同步
基础 @ 关系型
数据
库,结构化
数据
:MySQL、Oracle、DB2 非关
Oracle
17,086
社区成员
55,238
社区内容
发帖
与我相关
我的任务
Oracle
Oracle开发相关技术讨论
复制链接
扫一扫
分享
社区描述
Oracle开发相关技术讨论
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章