社区
数据仓库
帖子详情
数仓
2539623892@qq.com
2021-02-24 01:44:10
我想求教哥,我现在是做ETL的,也做过一些bi报表,但是那都是一些sql+业务,我想提升自己,想转型数仓,请问数仓的话,需要会Hadoop、spark这些么?数仓是不是主要用hql+业务+一些shell脚本就够了Hadoop、spark只需要知道原理就行了,(比如shuffle等等)做数仓的工作不用会写java代码、Scala代码去写spark streaming啥的吧,主要用的最多的是spark sql、flink sql比较多
...全文
2921
2
打赏
收藏
数仓
我想求教哥,我现在是做ETL的,也做过一些bi报表,但是那都是一些sql+业务,我想提升自己,想转型数仓,请问数仓的话,需要会Hadoop、spark这些么?数仓是不是主要用hql+业务+一些shell脚本就够了Hadoop、spark只需要知道原理就行了,(比如shuffle等等)做数仓的工作不用会写java代码、Scala代码去写spark streaming啥的吧,主要用的最多的是spark sql、flink sql比较多
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
妞果
2021-03-26
打赏
举报
回复
我认为需要考虑清楚是想做DBA呢 还是数据分析这块?前者对业务的关联性相对较少,后则需要在对应行业摸索较长一段时间业务。
一个数据小开发
2021-03-23
打赏
举报
回复
可以这么理解,主要还是要能够懂业务,学会业务建模,学会如何写sql如何写spark等都不难,难的是如何深入理解业务,在这基础上进行逻辑建模
电商
数仓
6.0 电商
数仓
6.0 电商
数仓
6.0
电商
数仓
6.0
DOE大型离线
数仓
与用户画像系统
分享离线
数仓
课程——《DOE大型离线
数仓
与用户画像系统》,2022年8月完结新课,一共19天的课程,提供课程配套的源码+文档下载!! DOE大型离线
数仓
与用户画像系统课程将带领大家从零搭建一个完整的大数据
数仓
系统 DOE大型离线
数仓
与用户画像系统课程涵盖数据采集,数据ETL,
数仓
分层开发,报表开发,OLAP查询全流程; 涵盖元数据管理,数据质量管理,数据建模方法论等数据治理实战内容; 包含行为日志数据域,业务数据域的全域数据处理实战; 很多大数据技术学员,都通过本项目课程成功拿到入行的高起点offer!
flink实时
数仓
5.0flink实时
数仓
5.0flink实时
数仓
5.0flink实时
数仓
5.0
flink实时
数仓
5.0
京东零售流量
数仓
架构建设
本次分享主要从三个方面介绍京东流量场下的数据处理方案,同时也会结合京东实际场景案例,介绍京东在流量场下的一些数据应用和实践。 全文会围绕以下三方面内容展开: 京东零售流量
数仓
架构 京东零售场景的数据处理 数据处理架构未来探索 1. 京东零售——流量简介 ① 什么是流量? 简单来说,流量就是用户作用在京东页面上,产生一系列行为数据的集合。 ② 流量数据的来源 数据来源主要是移动端和PC端,以及线下店、外部采买、合作商的数据等。 这些数据是如何流转到
数仓
的呢? 2. 京东零售——流量数据处理架构 由架构图可以看出,对不同的终端采取不同的采集模式;例如,对APP原生页面采取SDK的采集模式,对于PC、H5页面是JS采集,数据采集后按照实时和离线双写,离线直接写到CFS分布式文件系统中,每小时从CFS拉取数据文件,同时对数据文件大小、采集ip进行监控,防止数据丢失;实时是以白名单的方式动态配置,写到kafka中,最后将数据入仓。
s硅谷大数据项目之Flink实时
数仓
完整版
001-实时
数仓
(课程介绍 CDC介绍).mp4 003-实时
数仓
(CDC编码 DataStream方式 断点续传).mp4 004-实时
数仓
(CDC编码 FlinkSQL方式).avi 008-实时
数仓
(采集模块 课程介绍).avi 009-实时
数仓
(采集模块 分层介绍).avi 010-实时
数仓
(采集模块 需求介绍).avi 011-实时
数仓
(采集模块 离线架构).avi 012-实时
数仓
(采集模块 实时架构&架构对比).avi 013-实时
数仓
(采集模块 行为数据采集 生成数据Jar包测试).mp4 014-实时
数仓
(采集模块 行为数据采集 搭建Logger模块).avi 022-实时
数仓
(采集模块 行为数据采集 打包单机测试).avi 024-实时
数仓
(采集模块 行为数据采集 Nginx 安装&启动).avi 025-实时
数仓
(采集模块 行为数据采集 Nginx 配置负载均衡).avi 027-实时
数仓
(采集模块 行为数据采集 Nginx 测试负载均衡).avi 029-实时
数仓
(采集模块 业务数据采
数据仓库
7,393
社区成员
6,740
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章