社区
Hadoop生态社区
帖子详情
求助!ETL流程与数据仓库的关系
weixin_43435378
2019-05-27 07:23:59
首先数据通过见到的清洗 格式化 吧数据存到 ods 层
然后 ods 层 到 dw 层 做了什么操作
dw层 到da层 做了什么操作 最后用户画像是不是在这层做的????
...全文
108
1
打赏
收藏
求助!ETL流程与数据仓库的关系
首先数据通过见到的清洗 格式化 吧数据存到 ods 层 然后 ods 层 到 dw 层 做了什么操作 dw层 到da层 做了什么操作 最后用户画像是不是在这层做的????
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
4qw
2019-05-28
打赏
举报
回复
数据到了ods时,基本上经过处理,相对而言都是有效的原数据;
到dw的过程中,会对ods中的数据做一些统计,有些是很复杂的维度统计,最后 形成事实表,
维度表等类似的表信息,这一步就是形成数据仓库,或者数据集市的过程;
之后涉及到的数据分析,数据挖掘,或者用户画像的信息都来自于dw,dw中的这些信息经过统计处理,
数据量没有那么大,同时基本上都是可用的有效数据;
至于da层应该是中mvc中的概念:dao层,属于后端开发和数据库直接连接这一层,和ETL ,数仓没关系
数据仓库
与数据挖掘最佳实践
通过实际应用案例介绍
数据仓库
架构设计、
ETL
流程
、OLAP、ODS、MDM、MDX、DMX、立方体及元数据等重要概念。详细讲解构建
数据仓库
和数据挖掘体系的核心方法和技术,以及数据质量控制,行业解决方案,并结合实际项目...
数据仓库
ETL
工具箱——操作
ETL
开发完成后,主要工作是执行
ETL
开发的这些过程
ETL
Cloud详解,如何实现最佳实践及问题排查
实时数据通过经过清选、转换后可以实时存储到数仓中并可立即发布成API服务GPT智能构建
流程
全面集成AIGC能力实现智能数据管道构建,用户只需要简单描述需求,系统即可全自动完成数据管道构建,大幅缩短数据变现时间批...
ETL
工具
...
ETL
...
ETL
,Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载。
ETL
工具有:OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、
华为数据之道:数据中台的基础设施-元数据管理
基于元数据应用,以数据搜索为核心,通过可视化方式,综合反映有关数据的来源、数量、质量、分布、标准、流向、关联
关系
,让用户高效率地找到数据,读懂数据,支撑数据消费。数据入湖必须要遵循6项标准,共同满足...
Hadoop生态社区
20,808
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章