16.2 Hive运维实战案例分析

ShuYunBIGDATA 2023-01-13 00:29:13

课时名称	课时知识点
16.2 Hive运维实战案例分析	Hive运维项目问题分享

...全文

144 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

目录一、数仓基础 1、数仓基本介绍 1.1、数仓基本概念 1.2、数仓的定义 1.2.1、面向主题 1.2.2、集成性 1.2.3、稳定性 1.2.4、时变性 1.3、数据仓库与数据库的区别 1.4、构建数仓常用手段 1.5、数仓分层 1.5.1、数仓分层描述 1.5.2、为什么要进行数仓分层 1.6、获取数据 1.7、同步策略 2、数据仓库建模 2.1、范式建模法（Third Normal Form 3NF） 2.2、维度建模法 2.2.1、维度表 2.2.2、事

导言最近比较关注大数据、云计算、Docker、DevOps等几个方向，一会也简单围绕这几点跟大家做个交流。聊运维人生这个主题有点大，^_^就先从个人怎么入运维这行说起吧。人在天涯 2003年毕业后的第一份工作是当php、java程序员，人力紧张时还要兼顾美工设计的工作。工作中一次偶然的机会看到导师在黑压压的界面中敲入不同指令，第一感觉非常震撼，很COOL，联想到《黑客帝国》电

但本身这种性能提升是以资源消耗为前提的。首先准实时清洗DWD层B站千亿明细行为数据，流量数据都是分为私有参数和公有参数，其中公有参数在用户粒度下是不会经常改变的，我们会用一般聚合函数取一定时间内指定设备和行为事件下最新保留的不变公有参数，而将同等粒度下变化比较频繁的私有参数维度名写入Array结构，利用map索引原理，把私参维度值组合通过spark自定义逻辑计数并入map的key中，map的value则用来写入各种公共指标聚合结果，整个过程均通过spark脚本实现，最终写入到Iceberg引擎中。

数据驱动理念已被各行各业所熟知，核心环节包括数据采集、埋点规划、数据建模、数据分析和指标体系构建。在用户行为数据领域，对常见的多维数据模型进行信息提炼和模型整合，可以形成一套常见的数据分析方法来发现用户行为的内在联系，能更好洞察用户的行为习惯和行为规律，帮助企业挖掘用户数据的商业价值。

给大家推荐一本比较系统的Hadoop大数据书籍，方便大家快速入门图书简介：本书以Hadoop及其周边框架为主线，介绍了整个Hadoop生态系统主流的大数据开发技术。全书共16章，第1章讲解了VMware中CentOS 7操作系统的安装；第2章讲解了大数据开发之前对操作系统集群环境的配置；第3~16章讲解了Hadoop生态系统各框架HDFS、MapReduce、YARN、Zoo...

任大勇的课程社区_NO_2

52

社区成员

553

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章