社区
数据仓库
帖子详情
数据仓库针对事实表的历史数据变更处理方式
z184931481
2018-03-06 03:06:35
环境用的是SQL Server做物理存储,ETL用的是Kettle,通常在会对业务数据进行抽取做事实表,但业务数据每一天都会有变更(新增,修改,删除),想准备对这张事实表上的字段做对比,然后将变化的字段作为异动记录存储到另一个事实表中,请问如果是这种做法应该怎么做,还有其他更好的解决方法吗?
...全文
4074
3
打赏
收藏
数据仓库针对事实表的历史数据变更处理方式
环境用的是SQL Server做物理存储,ETL用的是Kettle,通常在会对业务数据进行抽取做事实表,但业务数据每一天都会有变更(新增,修改,删除),想准备对这张事实表上的字段做对比,然后将变化的字段作为异动记录存储到另一个事实表中,请问如果是这种做法应该怎么做,还有其他更好的解决方法吗?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
xphDeV
2018-03-23
打赏
举报
回复
可以考虑拉链表的做法,
好难取名
2018-03-14
打赏
举报
回复
你不对原始表做修改,那么你只抓增量,在旧表中存在的不就是变更数据么。变更的你直接存在另一张表就行了啊
z184931481
2018-03-07
打赏
举报
回复
顶一个没人回答吗
阿里巴巴大数据之路-大数据领域建模综述.pdf
特点 可审计的基础数据层 数据的历史 性、可追溯性和原⼦ ⽽不要求对数据进⾏过度的⼀致性处理和整合 基于主题概念将企业数据进⾏结构化组织 组成部分 Hub 是企业的核⼼业务实体,由实体 key、
数据仓库
序列代理 键...
业务数据准实时增量进入
数据仓库
并保留历史所有
变更
记录
永远都是最新的数据,并只有1天的小文件)定时将昨天的old表数据和昨天的binlog表数据合并,并导入今天的old表中当数据不对或者失败时,可以通过重跑从业务库中拉取全量数据(提高抗风险性)将历史所有的binlog进行...
数据仓库
与数据挖掘最佳实践
本次课程将介绍
数据仓库
和数据挖掘技术的基本理论和体系架构,通过大型
数据仓库
和数据挖掘项目案例阐述
数据仓库
和数据挖掘项目的实施过程和方法。通过实际应用案例介绍
数据仓库
架构设计、ETL流程、OLAP、ODS、MDM、MDX、DMX、立方体及元数据等重要概念。详细讲解构建
数据仓库
和数据挖掘体系的核心方法和技术,以及数据质量控制,行业解决方案,并结合实际项目搭建
数据仓库
和数据挖掘环境。掌握主流
数据仓库
和数据挖掘厂商及相关软件产品的操作和使用。课程特点:1、 培训过程中将以大型项目案例为背景,逐步讲解整个
数据仓库
和数据挖掘的设计过程和实施方法2、 课程将以深入浅出的案例让学员轻松掌握
数据仓库
和数据挖掘相关技术 3、 课程的重点是项目实施,将深入探讨
数据仓库
和数据挖掘项目的实施问题,逐一解决项目实施过程中所遇到的问题和处理技巧4、 结合动手实验和实际项目案例,使学员充分理解
数据仓库
和数据挖掘架构设计和相关工具的使用
数据仓库
:详解维度建模之
事实表
每个
数据仓库
都包含一个或者多个事实数据表。其中可能包含业务销售数据,如现金登记事务所产生的数据,通常包含大量的行。事实数据表的主要特点是包含数字数据(事实),并且这些数字信息可以汇总,以提供有关单位...
跟我一起学【
数据仓库
】之——保存
历史数据
方法——拉链表
数据仓库
是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合,用于支持管理决策。 l 面向主题:传统的数据库是面向事务处理的,而
数据仓库
是面向某一领域而组织的数据集合,主题是指用户关心的某一联系...
数据仓库
7,388
社区成员
6,742
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章