15.2 Hive运维思路和技巧

ShuYunBIGDATA 2023-01-13 00:29:13

课时名称	课时知识点
15.2 Hive运维思路和技巧	1、运维思路和重要监控地方 2、常见问题

...全文

155 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

1、常用命令 1.1、查看主机CPU使用情况 1.1.1、sar sar -u 1 5 说明：已1秒为周期查询5次当前主机总体CPU使用情况。 %user 用户空间的 CPU 使用 %nice 改变过优先级的进程的 CPU 使用率 %system 内核空间的 CPU 使用率 %iowait CPU 等待 IO 的百分比 %steal 虚拟机的虚拟机 CPU 使用的 CPU %idle 空闲的 CPU 主要看%iowait 和%idle，%iowait 过高表示存在 I/O 瓶颈，.

目录一、数仓基础 1、数仓基本介绍 1.1、数仓基本概念 1.2、数仓的定义 1.2.1、面向主题 1.2.2、集成性 1.2.3、稳定性 1.2.4、时变性 1.3、数据仓库与数据库的区别 1.4、构建数仓常用手段 1.5、数仓分层 1.5.1、数仓分层描述 1.5.2、为什么要进行数仓分层 1.6、获取数据 1.7、同步策略 2、数据仓库建模 2.1、范式建模法（Third Normal Form 3NF） 2.2、维度建模法 2.2.1、维度表 2.2.2、事

通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理逻辑都相对简单和容易理解，这样我们比较容易保证每一个步骤的正确性，当数据发生错误的时候，往往我们只需要局部调整某个步骤即可。：Hive是在0.7版本之后支持索引的，在0.8版本后引入bitmap索引处理器，在3.0版本开始移除索引的功能，取而代之的是2.3版本开始的物化视图，自动重写的物化视图替代了索引的功能。兼顾了可靠性和效率。

导言最近比较关注大数据、云计算、Docker、DevOps等几个方向，一会也简单围绕这几点跟大家做个交流。聊运维人生这个主题有点大，^_^就先从个人怎么入运维这行说起吧。人在天涯 2003年毕业后的第一份工作是当php、java程序员，人力紧张时还要兼顾美工设计的工作。工作中一次偶然的机会看到导师在黑压压的界面中敲入不同指令，第一感觉非常震撼，很COOL，联想到《黑客帝国》电

OLAP 数据库是专为复杂分析查询设计的数据库系统，与传统的 OLTP（Online Transaction Processing，在线事务处理）数据库相比，OLAP 数据库更注重查询性能而非事务处理能力。维度ClickHouseDoris架构特点单机性能极致，分布式能力辅助原生分布式设计，MPP 架构性能优势单表大规模聚合查询性能极佳多表关联查询表现优秀数据更新主要追加写入，有限更新能力原生支持高效行级更新一致性最终一致性强一致性易用性配置复杂，运维要求高。

任大勇的课程社区_NO_2

52

社区成员

553

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章