社区
Informatica
帖子详情
source表数据删除后如何同步删除目标表中的数据
wshuaiwei
2016-02-24 10:56:41
我个人觉得应该用look up组件做全表比对,但是暂时还没考虑清楚具体实施起来应该怎么做,所以只能来请教大神们来指点一二
...全文
4803
4
打赏
收藏
source表数据删除后如何同步删除目标表中的数据
我个人觉得应该用look up组件做全表比对,但是暂时还没考虑清楚具体实施起来应该怎么做,所以只能来请教大神们来指点一二
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
朱清伟的学习笔记
2017-03-12
打赏
举报
回复
可以用源表和目标表做全外连接,然后在做判断。
lv1koko
2016-03-30
打赏
举报
回复
源表记录删除是在mapping里删的么?是的话把源表删掉的记录对应的目标表记录直接在组件里delete就好了。 如果不是话,那就根据时间戳主键之类的,把本次加载之前的数据拿出来,lookup以下,配不到的更新组件里delete掉~ 个人想法,仅供参考~(我也是刚接触~)
wshuaiwei
2016-02-24
打赏
举报
回复
怎没有人啊,大神啊。指点迷津啊
通俗易懂的Flume升级版教程(含配套资料)
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。是大
数据
大
数据
开发工程师必须会的框架之一。在本课程中,你将学习到,Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集
数据
、监控本地(或HDFS)文件(或文件夹)采集
数据
、多
数据
源采集
数据
、多
数据
出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的运用。更新:课件升级、Flume中的事务、Flume故障转移、自定义组件
Source
和Sink
Kettle-根据源
表
(
source
table)
数据
更新情况对
目标
表
(target table)中
数据
进行
删除
应用场景:
目标
表
的
数据
是从源
表
中
抽取的,当源
表
数据
删除
时,希望
目标
表
中
的
数据
也能及时
删除
。转换思路: 两个
表
中
的
数据
进行合并记录操作,合并后的
数据
会根据对比情况打上标签,过滤出标签为deleted的
数据
,对其进行
删除
操作。转换过程: 注意:在对两
表
进行合并记录操作之前,需要将两
表
分别进行排序操作,可以直接在
表
输入的sql脚本中使用order by进行排序,也可以分别在
表
输入和合...
Kettle
数据
同步
原始
表
和
目标
表
的
数据
对比技术请教与讨论
场景: 1. 2个
数据
库在做
数据
同步
的传输,
数据
库A为 mysql
数据
库B 为 sqlserver 2. 每次将
数据
库A的
表
table1
同步
到
数据
库B的table2 3.
同步
的时候 是根据 主键GID 为唯一性的判断, GID+时间+ 状态码 是更新的判断依据 4.
同步
数据
的过程中,table 1 是根据 查询的时间进行了条件过滤, 因此 table 1 的
数据
行是有控制的 问题点:...
【大
数据
实时
数据
同步
】OGG异构多路映射
同步
原
表
&审计
表
&只存
删除
数据
表
实现方案(一)
使用Oracle GoldenGate将各个业务生产库汇聚到一起做数仓实时ODS平台,源端库可能涉及Oracle、Mysql、达梦、Guassdb库。我们采用异构
同步
,即源端
同步
过来的
表
在ODS新增了一个etltime字段,用来记录当前
数据
变更时间。为了记录
数据
的事务变更历史记录,我们将
数据
的变更记录映射
同步
到一张tab_name_audit
表
中
。为了防止源端业务库误删
数据
,我们将被
删除
的
数据
映射
同步
到一张tab_name_his
表
中
。
SQL Server两个
表
数据
同步
的几种方法
您可以根据具体的需求选择适合的方法,例如使用INSERT INTO SELECT语句进行简单的
数据
复制,使用TRUNCATE和INSERT INTO语句进行完全替换,使用MERGE语句进行更复杂的插入、更新和
删除
操作,或者使用触发器在源
表
发生变化时自动
同步
数据
到
目标
表
。在不同的情况下,需要将一个
表
中
的
数据
同步
到另一个
表
中
,以保持
数据
的一致性和准确性。请注意,使用TRUNCATE语句会
删除
目标
表
中
的所有
数据
,因此在使用此方法之前,请确保您已备份了
目标
表
中
的
数据
。SQL Server两个
表
数据
同步
的几种方法。
Informatica
246
社区成员
377
社区内容
发帖
与我相关
我的任务
Informatica
讨论 Informatica 数据集成相关技术、数据隐私保护相关技术
复制链接
扫一扫
分享
社区描述
讨论 Informatica 数据集成相关技术、数据隐私保护相关技术
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章