全量账户表和增量交易表关联，如果交易表要重跑前天，此时账户表还是今天的全量，关联出的数据不是前天的跑批状态，这种怎么办，求大神回复!

weixin_42814685 2022-01-04 00:38:10

全量账户表和增量交易表关联，如果交易表要重跑前天，此时账户表还是今天的全量，关联出的数据不是前天的跑批状态，这种怎么办，求大神回复!

...全文

251 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

CSDN-Ada助手 2023-01-13

打赏
举报

回复

您可以前往 CSDN问答-大数据发布问题, 以便更快地解决您的疑问

数据仓库分为三层，自下而上为：数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute的职责，同时记录基础数据的历史变化。数据公共层CDM（Common Data Model，又称通用数据模型层）:包括DIM维度表、DWD和DWS，由ODS层数据加工而成。

第1章数仓分层1.1 为什么要分层 1.2 数据集市与数据仓库概念 1.3 数仓命名规范1.3.1 表命名ODS层命名为ods_表名DWD层命名为dwd_dim/fact_表名DWS层命名为dws_表名 DWT层命名为dwt_购物车ADS层命名为ads_表名临时表命名为xxx_tmp用户行为表，以log为后缀。1.3.2 脚本命名数据源_to_目标_db/log.sh用户行...

1 数仓分层 1.1 为什么要分层？（1）把复杂的问题简单化把复杂的任务分解为多层完成，方便定位问题~ 少写了很多复杂的sql （2）减少重复开发规范数据分层，通过中间数据，可以减少极大的重复计算，增加复用性中间结果保存出来，以后拿数据就能从中间获取，不用从最开始的数据拿（3）隔离原始数据将真实数据和要使用的统计数据解耦开；权限管理：控制哪些人可以访问哪些表。 --数据怎么到ODS层？ 1. load 2. flume -> hive sin

Hive引擎包括：默认MR、tez、sparkHive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Spark on Hive: Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。

1）项目查找查找项目：易观千帆指数 http://zhishu.analysys.cn/应用市场：应用宝、应用汇、豌豆荚、华为、魅族、小米可选行业：电商、教育、医疗、旅游、电影、小说、新闻不是很推荐的行业：（工业互联网物联网）传统行业工资较低，发展前途也不是很好（互联网金融）门槛高，需要有一定的金融知识，对金融一些相关名词比较了解选好app以及公司以后，所有人在班级微信群发起接龙，先到先得，如果有重复的，后面的同学自动换！ 01 张三：app名称公司名01 张

高性能计算

2,408

社区成员

1,025

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章