社区
数据仓库
帖子详情
请教通过触发器方式实现增量抽取的具体解决方案
jc15271149
2009-02-01 10:13:26
包括触发器的编写,临时表的结构和etl(增删改如何处理)的具体过程,最好能有例子,谢谢
...全文
499
9
打赏
收藏
请教通过触发器方式实现增量抽取的具体解决方案
包括触发器的编写,临时表的结构和etl(增删改如何处理)的具体过程,最好能有例子,谢谢
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
9 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
nosuchtracter
2011-08-25
打赏
举报
回复
在表上建触发器,当有数据发生改变的时候将改变的数据插入到另外一个表中,然后从这个表中抽取增量数据,每次抽取完了的数据用个字段标示下已抽取
秋雨飘落
2011-06-28
打赏
举报
回复
触发器很简单,就是在目标表操作以后,把相关操作插入到另外一个表
wanglingzhong
2011-06-27
打赏
举报
回复
晕死了,大家明显没有按楼主的套路出牌,楼主说的是用触发器,而非其他诸如时间戳、加入时间字段、CDC以及全表比对方法。
itcncs
2009-02-25
打赏
举报
回复
数据量大的话,触发器不是一个好方案。性能容易出现瓶颈
nees
2009-02-23
打赏
举报
回复
用Oracle的CDC功能啊,最简单了。
顾问Peng
2009-02-23
打赏
举报
回复
可以每天触发导入增量数据就行
对于增量数据的处理你可以定义一个时间字段进行判断
slink_libiao
2009-02-03
打赏
举报
回复
直接用ETL应该就可以实现。在数据流任务里面有一个查找控件,你可以好好使用那个查找控件。
jc15271149
2009-02-03
打赏
举报
回复
就是每天把业务系统数据库中有变化(增删改)的,数据仓库需要用到的数据抽取出来
slink_libiao
2009-02-02
打赏
举报
回复
你的增量抽取是什么意思?说的明确点啊...
kettle——(3)全量
抽取
和
增量
抽取
kettle——(3)全量
抽取
和
增量
抽取
什么是数据
抽取
--全量
抽取
、
增量
抽取
什么是数据
抽取
数据
抽取
是指从源数据源系统
抽取
目的数据源系统需要的数据。实际应用中,数据源较多采用的是关系数据库。 [编辑] 数据
抽取
的
方式
(一) 全量
抽取
全量
抽取
类似于数据迁移或数据复制,它将数据源中的表或视图的数据原封不动的从数 据库中
抽取
出来,并转换成自己的ETL 工具可以识别的格式。全量
抽取
比较简单。 (二)
增量
抽取
增量
抽取
只
抽取
自上次
抽取
以来
全量、
增量
数据
抽取
同步
数据
抽取
是什么 数据
抽取
是指从源数据源系统
抽取
目的数据源系统需要的数据。实际应用中,数据源较多采用的是关系数据库。 数据
抽取
的
方式
一、全量
抽取
增量
抽取
只
抽取
自上次
抽取
以来数据库中要
抽取
的表中新增或修改的数据。在ETL 使用过程中,
增量
抽取
较全量
抽取
应用更广。如何捕获变化的数据是
增量
抽取
的关键。对捕获方法一般有两点要求:准确性,能够将业务系统中的变化数据按一定的频率准确地捕获到;性能,不能对业务系统造成太大的压力,影响现有业务。目前
增量
数据
抽取
中常用的捕获变化数据的方法有: (a)
触发器
方式
(又称快照式
Oracle BI基础之ETL数据
增量
抽取
方案
一篇好文见百度文库: ETL数据
增量
抽取
方案 一、 ETL 简介 数据集成是把不同来源、格式和特点的数据在逻辑上或物理上有机地集中,从而提供全面的数据共享,是企业商务智能、数据仓库系统的重要组成部分。ETL 是企业数据集成的主要
解决方案
。 随着信息化建设的发展,巨大的投资为公安行业建立了众多的信息系统,以帮助公安进行内外部业务的处理和管理工作,但是随着信息系统的
ETL
增量
抽取
方案
一、.ETL体系结构 数据库--->
抽取
---> 转换--->加载--->目的数据源 二、ETL
抽取
方案 1).全量
抽取
全量
抽取
类似于数据迁移或数据复制,它将数据源中的表或视图的数据原封不动的从数据库中
抽取
出来,并转换成自己的ETL工具可以识别的格式,全量
抽取
比较简单。全量
抽取
一般只在系统初始化时使用,全量一次后,就要每天采用
增量
抽取
。 2).
增量
数据仓库
7,394
社区成员
6,741
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章