社区
张长志的课程社区_NO_5
全新大数据企业电商数据仓库项目实战教程
帖子详情
97_业务数仓_ODS层建表及数据导入
zhchzh1000
2023-01-12 18:50:14
课时名称
课时知识点
97_业务数仓_ODS层建表及数据导入
97_业务数仓_ODS层建表及数据导入
...全文
111
回复
打赏
收藏
97_业务数仓_ODS层建表及数据导入
课时名称课时知识点97_业务数仓_ODS层建表及数据导入97_业务数仓_ODS层建表及数据导入
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
高级Java人才培训专家-第三章:
数仓
ODS
&DWD
层
建设
高级Java人才培训专家-第三章:
数仓
ODS
&DWD
层
建设
99-
数仓
开发规范.docx
99-
数仓
开发规范.docx
Hive的
ods
层
建表
语句及加载
数据
数仓
搭建-
ODS
层
1)保持
数据
原貌不做任何修改,起到备份
数据
的作用。 2)
数据
采用LZO压缩,减少磁盘存储空间。100G
数据
可以压缩到10G以内。 3)创建分区表,防止后续的全表扫描,在企业开发中大量使用分区表。 4)创建外部表。在企业开发中,除了自己用的临时表,创建内部表外,绝大多数场景都是创建外部表。 例如 创建用户表: DROP TABLE IF EXISTS
ods
_user_info; CREATE EXTERNAL TABLE
ods
_user_info( `id`
数仓
搭建-
ODS
层
(1)在/home/atguigu/bin目录下创建脚本hdfs_to_
ods
_db_init.sh。注意:[ -n 变量值 ]不会解析
数据
,使用[ -n 变量值 ]时,需要对变量加上双引号(" ")在企业开发中,除了自己用的临时表,创建内部表外,绝大多数场景都是创建外部表。(1)在/home/atguigu/bin目录下创建脚本hdfs_to_
ods
_db.sh。首日脚本与每日脚本最大的区别就是地区省份表只需要首日加载,每日脚本无需加载。3)创建分区表,防止后续的全表扫描,在企业开发中大量使用分区表。
数仓
学习笔记(4)——
数仓
搭建(
ODS
层
和DIM
层
)
目录一、
数仓
搭建-
ODS
层
1、
ODS
层
(用户行为
数据
)1.1 创建日志表
ods
_log1.2 Shell中单引号和双引号区别1.3
ODS
层
日志表加载
数据
脚本2、
ODS
层
(
业务
数据
)二、
数仓
搭建-DIM
层
1、商品维度表(全量)1.1
建表
语句1.2 分区规划1.3
数据
装载1.4 Hive读取索引文件问题1.5 首日装载和每日装载2、优惠卷维度表(全量)2.1
建表
语句2.2 分区规划2.3
数据
装载2.4 首日装载和每日装载3、活动维度表(全量)3.1
建表
语句3.2 分区规划3.3
数据
装载 3.4 首
张长志的课程社区_NO_5
1
社区成员
538
社区内容
发帖
与我相关
我的任务
张长志的课程社区_NO_5
复制链接
扫一扫
分享
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章