求助!ETL流程与数据仓库的关系

weixin_43435378 2019-05-27 07:23:59
首先数据通过见到的清洗 格式化 吧数据存到 ods 层
然后 ods 层 到 dw 层 做了什么操作
dw层 到da层 做了什么操作 最后用户画像是不是在这层做的????
...全文
108 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
4qw 2019-05-28
  • 打赏
  • 举报
回复
数据到了ods时,基本上经过处理,相对而言都是有效的原数据;
到dw的过程中,会对ods中的数据做一些统计,有些是很复杂的维度统计,最后 形成事实表,
维度表等类似的表信息,这一步就是形成数据仓库,或者数据集市的过程;
之后涉及到的数据分析,数据挖掘,或者用户画像的信息都来自于dw,dw中的这些信息经过统计处理,
数据量没有那么大,同时基本上都是可用的有效数据;
至于da层应该是中mvc中的概念:dao层,属于后端开发和数据库直接连接这一层,和ETL ,数仓没关系

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧