97_业务数仓_ODS层建表及数据导入

zhchzh1000 2023-01-12 18:50:14

课时名称	课时知识点
97_业务数仓_ODS层建表及数据导入	97_业务数仓_ODS层建表及数据导入

...全文

103 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

高级Java人才培训专家-第三章：数仓ODS&DWD层建设

99-数仓开发规范.docx

数仓搭建-ODS层 1）保持数据原貌不做任何修改，起到备份数据的作用。 2）数据采用LZO压缩，减少磁盘存储空间。100G数据可以压缩到10G以内。 3）创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。 4）创建外部表。在企业开发中，除了自己用的临时表，创建内部表外，绝大多数场景都是创建外部表。例如创建用户表： DROP TABLE IF EXISTS ods_user_info; CREATE EXTERNAL TABLE ods_user_info( `id`

（1）在/home/atguigu/bin目录下创建脚本hdfs_to_ods_db_init.sh。注意：[ -n 变量值 ]不会解析数据，使用[ -n 变量值 ]时，需要对变量加上双引号(" ")在企业开发中，除了自己用的临时表，创建内部表外，绝大多数场景都是创建外部表。（1）在/home/atguigu/bin目录下创建脚本hdfs_to_ods_db.sh。首日脚本与每日脚本最大的区别就是地区省份表只需要首日加载，每日脚本无需加载。3）创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。

一、ODS层建表与数据加载 ### --- ODS建表： ~~~ ODS层的表结构与源数据基本类似(列名及数据类型)； ~~~ ODS层的表名遵循统一的规范； ~~~ 所有的表都是分区表；字段之间的分隔符为, ；为表的数据数据文件指定了位置；二、ODS层建表与数据加载 ### --- ODS层建表：订单表 ...

张长志的课程社区_NO_5

1

社区成员

538

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章