数据仓库针对事实表的历史数据变更处理方式

z184931481 2018-03-06 03:06:35

环境用的是SQL Server做物理存储，ETL用的是Kettle，通常在会对业务数据进行抽取做事实表，但业务数据每一天都会有变更（新增，修改，删除），想准备对这张事实表上的字段做对比，然后将变化的字段作为异动记录存储到另一个事实表中，请问如果是这种做法应该怎么做，还有其他更好的解决方法吗？

...全文

4177 3 打赏收藏举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

xphDeV 2018-03-23

打赏
举报

回复

可以考虑拉链表的做法，

好难取名 2018-03-14

打赏
举报

回复

你不对原始表做修改，那么你只抓增量，在旧表中存在的不就是变更数据么。变更的你直接存在另一张表就行了啊

z184931481 2018-03-07

打赏
举报

回复

顶一个没人回答吗

本文详细介绍了数据仓库中的各种表，包括实体表、维度表、事实表的特性与应用场景。实体表反映业务对象，维度表提供业务状态解释，事实表记录业务事件的度量。文中强调了从OLTP到OLAP转变的原因，以及退化维度、缓慢变化维的概念。此外，文章讨论了事务型、周期型快照和累积型快照事实表的差异，以及维度模型设计的四步方法。拉链表和流水表在跟踪数据变化和优化查询性能方面的作用也被提及。

本文介绍了数据仓库的基本理论，包括其作为存储、分析和报告系统的角色，以及与OLTP（操作型处理）的区别。重点讲述了数据仓库的结构（事实表和维度表）、ETL过程和在企业中的应用，以支持决策分析。

本文深入探讨了构建数据仓库的必要性，解释了为何传统直接访问业务数据的方式存在局限性，随后介绍了数据仓库的定义与特性，包括面向主题、集成性、非易失性和时变性。文章还概述了数据仓库架构，并阐述了数据仓库中的关键概念，如原子指标、派生指标、维度、标签、自然键与代理键等，以及数据集市与数据仓库的区别。

本文围绕数据仓库建模中维度退化与下沉展开。先介绍两者概念与适用场景，接着针对维度属性变化分场景给出处理策略，如标识符格式或语义变更、需保留历史快照或动态关联当前状态等情况。还阐述了设计禁区的三条原则，最后明确事实表与维度表的职责边界。

本文介绍了在Oracle数据库中进行无锁数据变更和结构变更的方法。针对大表更新、历史数据清理和全表字段更新等场景，通过分批处理和工具支持，有效规避锁表风险，提高数据库操作的效率和性能。

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章