如何决定哪些表需要delta增量更新

hunter1ok hunter1ok 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
我们现在的数据集市每天都是全表删除更新(有点怪?)。由于主题质量等原因,现在要重建。

请教下,通常怎么决定哪些表需要delta增量更新?交易事实表肯定可以。
一般比如产品表,客户表,地址表呢?
聚集后的比如每客户月度收入事实表呢?

另一个问题:如果要引入slow change dimension,一般的项目,会建多少个SCD?比如客户信息表,dim_customer,有三十个左右属性(单位,行业,电话,地址,预付费/月账单),10个左右计算结果(如月消费1000-3000),那么通常大家会考虑建多少个缓慢变化惟呢?不会40个列全部都建吧?

多谢!
...全文

相关推荐

SAP中的增量机制及提取方式

SAP中的增量机制,每种增量提取方式的方法,数据抽取方式。新镜像、前镜像、后镜像和反转镜像。

zuuu01db

理解Databricks的Delta表的存储结构以及其可以CRUD和ACID特性的原理

比如多个用户同时对一个Delta表进行操作,事务日志可以协调这些操作,每个用户看到的数据状态是按照事务隔离级别规定的,就像数据库事务中的隔离级别一样,防止脏读等问题。每次对表的操作(如数据插入、更新、删除或合并,以及元数据操作如添加新列或修改表配置)都会生成一个新的JSON格式的日志文件,记录本次操作对表产生的行为。除了数据文件外,Delta表还有一个事务日志(transaction log),事务日志存储在云存储中的一个独立路径下,采用JSON格式记录每次对表的操作,包括写入、更新、删除等事务。

weixin_30777913

【游戏服务器开发】实体同步算法——Delta 压缩(Delta Compression)

是一种高效的数据同步技术,主要用于减少网络传输的数据量,特别是在游戏服务器和客户端之间同步实体状态时。它的核心思想是只传输发生变化的部分(增量),而不是每次都传输完整的实体状态。

颯沓如流星

parquet增量支持增删改方案

痛点: parquet文件在离线数仓能提升几十倍的读性能,但是只支持只读,一般做法是定时任务全量刷新。同时离线需求复杂,依赖表多且数据量都很大,时间窗口T+1,要在窗口期内把所有依赖表每次都全量刷不太现实 delta lake是在2019 spark conf上,databricks开源的产品,大概看了下感觉其他都次要的,主要还是支持增删改: https://blog.csdn.net/wypblog/article/details/102889946 https://blog.csdn.net/dafei

anddyhua

DB2分增量备份

DB2分增量备份

cbqiushd
评论 1
收藏 已收藏
分享
返回顶部
hunter1ok
数据仓库 7,394 成员 6,741 内容