powercenter的增量抽取问题

弹指神通 2014-02-25 12:18:26
在数据仓库项目中,由于ETL之后还会有OLAP等等,所以数据都是增量抽取。
关于增量抽取,涉及到的情况不同采用的抽取方式就会有差别。
关于informatica增量抽取的问题,我还不是很明白。目前我们的维度表都是采用每次全量抽取的方式,但是事实表的抽取由于数据量较大,所以需要增量抽取。
关于增量抽取,有时间戳的可以根据时间戳来进行判断让新增的数据进入mapping,但是没有时间错的数据各位大侠是怎么做的?用lookup进行主键全表对比?假如我事实表的主键是UUID(用powercenter的sequence)又该如何进行增量抽取?
...全文
250 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
弹指神通 2014-03-05
  • 打赏
  • 举报
回复
用了mapping的变量来记录数据库抽取的记录的最大时间,下次抽取的时候就从这个时间开始抽取。

246

社区成员

发帖
与我相关
我的任务
社区描述
讨论 Informatica 数据集成相关技术、数据隐私保护相关技术
社区管理员
  • 数据集成社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧