数据仓库针对事实表的历史数据变更处理方式

z184931481 2018-03-06 03:06:35

环境用的是SQL Server做物理存储，ETL用的是Kettle，通常在会对业务数据进行抽取做事实表，但业务数据每一天都会有变更（新增，修改，删除），想准备对这张事实表上的字段做对比，然后将变化的字段作为异动记录存储到另一个事实表中，请问如果是这种做法应该怎么做，还有其他更好的解决方法吗？

...全文

4075 3 打赏收藏转发到动态举报

写回复

用AI写文章

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

xphDeV 2018-03-23

打赏
举报

可以考虑拉链表的做法，

好难取名 2018-03-14

打赏
举报

你不对原始表做修改，那么你只抓增量，在旧表中存在的不就是变更数据么。变更的你直接存在另一张表就行了啊

z184931481 2018-03-07

打赏
举报

顶一个没人回答吗

阿⾥巴巴⼤数据之路-⼤数据领域建模综述阿⾥巴巴⼤数据之道-⼤数据领域建模综述为什么要数据建模？ Linux 的创始⼈ Torvalds 有⼀段关于"什么才是优秀程序员"的话："烂程序员关⼼的是代码，好程序员关⼼的是数据结构和它们之间的关系。" 数据建模的好处性能：良好的数据模型能帮助我们快速查询所需要的数据，减少数据的 110 吞吐。成本：良好的数据模型能极⼤地减少不必要的数据冗余，也能实现计算结果复⽤，极⼤地降低⼤数据系统中的存储和计算成本。效率：良好的数据模型能极⼤地改善⽤户使⽤数据的体验，提⾼使⽤数据的效率。质量：良好的数据模型能改善数据统计⼝径的不⼀致性，减少数据计算错误的可能性。 OLTP 和 OLAP 建模区别 OLTP 主要数据操作是随机读写主要采⽤满⾜ 3NF 的实体关系模型存储数据在事务处理中解决数据的冗余和⼀致性问题 OLAP 主要数据操作是批量读写事务处理中的⼀致性不是 OLAP 所关注的关注数据的整合，以及在⼀次性的复杂⼤数据查询和处理中的性能建模⽅法论 ER模型简述 数据仓库之⽗ Bill lnmon 提出的建模⽅法是从全企业的⾼度设计⼀个 3NF 模型，⽤实体关系（ Entity Relationship, ER）模型描述企业业务，在范式理论上符合 3NF。数据仓库中的 3NF 与 OLTP 系统中的 3NF 的区别在于，它是站在企业⾓度⾯向主题的抽象，⽽不是针对某个具体业务流程的实体对象关系的抽象。特点需要全⾯了解企业业务和数据。实施周期⾮常长。对建模⼈员的能⼒要求⾮常⾼。建模步骤⾼层模型⼀个⾼度抽象的模型，描述主要的主题以及主题间的关系，⽤于描述企业的业务总体概况。中层模型在⾼层模型的基础上，细化主题的数据项。物理模型（也叫底层模型）在中层模型的基础上，考虑物理存储，同时基于性能和平台特点进⾏物理属性的设计，也可能做⼀些表的合并、分区的设计等。维度模型简述维度模型是数据仓库领域的 Ralph Kimball ⼤师所倡导的，他的 The Data 阳rehouse 岛olkit-The Complete Guide to Dimensional Modeling 是 数据仓库⼯程领域最流⾏的数据仓库建模的经典。特点从分析决策的需求出发构建模型，为分析需求服务具有较好的⼤规模复杂查询的响应性能其典型的代表是星形模型，以及在⼀些特殊场景下使⽤的雪花模型模型分类雪花模型星型模型星座模型建模步骤选择需要进⾏分析决策的业务过程业务过程可以是单个业务事件，⽐如交易的⽀付、退款等；也可以是某个事件的状态，⽐如当前的账户余额等；还可以是⼀系列相关业务事件组成的业务流程，具体需要看我们分析的是某些事件发⽣情况，还是当前状态，或是事件流转效率。选择粒度在事件分析中，我们要预判所有分析需要细分的程度，从⽽决定选择的粒度。粒度是维度的⼀个组合。识别维表选择好粒度之后，就需要基于此粒度设计维表，包括维度属性，⽤于分析时进⾏分组和筛选。选择事实确定分析需要衡量的指标。 Data Vault 模型简述 Data Vault 是 Dan Linstedt 发起创建的⼀种模型，它是 ER 模型的衍⽣，其设计的出发点也是为了实现数据的整合，但不能直接⽤于数据分析决策。特点可审计的基础数据层数据的历史性、可追溯性和原⼦⽽不要求对数据进⾏过度的⼀致性处理和整合基于主题概念将企业数据进⾏结构化组织组成部分 Hub 是企业的核⼼业务实体，由实体 key、数据仓库序列代理键、装载时间、数据来源组成。 Link 代表 Hub 之间的关系。这⾥与 ER 模型最⼤的区别是将关系作为⼀个独⽴的单元抽象，可以提升模型的扩展性。它可以直接描述 1 : 1 、 l :n 和 n:n 的关系，⽽不需要做任何变更。它由 Hub 的代理键、装载时间、数据来源组成。 Satellite 是 Hub 的详细描述内容，⼀个 Hub 可以有多个 Satellite。它由 Hub 的代理键、装载时间、来源类型、详细的 Hub 描述信息组成。模型实例 Anchor 模型简介 Anchor 对 Data Vault 模型做了进⼀步规范化处理， Lars. Ri:innback 的初衷是设计⼀个⾼度可扩展的模型，其核⼼思想是所有的扩展只是添加⽽不是修改，因此将模型规范到 6NF，基本变成了 k-v 结构化模型。组成部分 Anchors 类似于 Data Vault 的 Hub ，代表业务实体，且只有主键。 Attributes 功能类似于 Data Vault 的 Satellite

架构图如下：定时创建视图（在dwd的视图中不用指定时间，永远都是最新的数据，并只有1天的小文件）定时将昨天的old表数据和昨天的binlog表数据合并，并导入今天的old表中当数据不对或者失败时，可以通过重跑从业务库中拉取全量数据（提高抗风险性）将历史所有的binlog进行保存，可以获取所有的历史修改记录该调度任务时间为凌晨 0点 30分在start节点中会添加binlog的分区，并针对其他表执行msck操作（下述会详细说明）...

课程的重点是项目实施，将深入探讨数据仓库和数据挖掘项目的实施问题，逐一解决项目实施过程中所遇到的问题和处理技巧4、结合动手实验和实际项目案例，使学员充分理解数据仓库和数据挖掘架构设计和相关工具的...

每个数据仓库都包含一个或者多个事实数据表。其中可能包含业务销售数据，如现金登记事务所产生的数据，通常包含大量的行。事实数据表的主要特点是包含数字数据（事实），并且这些数字信息可以汇总，以提供有关单位作为历史的数据，每个事实数据表包含一个由多个部分组成的索引，该索引包含作为外键的相关性维度表的主键，而维度表包含事实记录的特性。

一、数据仓库 数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合，用于支持管理决策。 l 面向主题：传统的数据库是面向事务处理的，而数据仓库是面向某一领域而组织的数据集合，主题是指用户关心的某一联系紧密的集合。 l 集成：数据仓库中数据来源于各个离散的业务系统数据库、外部数据、非结构化数据的集合，数据仓库数据是集成的。 l 相对稳定：数据仓库中的数据不应该支持dml操作，...

数据仓库

7,388

社区成员

6,742

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章