15.3 Hive运维思路和技巧

ShuYunBIGDATA 2023-01-13 00:29:13

课时名称	课时知识点
15.3 Hive运维思路和技巧	1、运维思路和重要监控地方 2、常见问题

...全文

164 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

FaceBook网站每天产生海量的结构化日志数据，为了对这些数据进行管理，并且因为机器学习的需求，产生了hive这门技术，并继续发展成为一个成功的Apache项目。hive是一个构建在Hadoop上的数据仓库工具(框架)，可以将结构化的数据文件映射成一张数据表，并可以使用类sql的方式来对这样的数据文件进行读，写以及管理（包括元数据）。这套HIVE SQL 简称HQL。hive的执行引擎可以是MR、spark、tez。如果执行引擎是MapReduce的话，hive会将Hql翻译成MR进行数据的计算。用户可

目录一、数仓基础 1、数仓基本介绍 1.1、数仓基本概念 1.2、数仓的定义 1.2.1、面向主题 1.2.2、集成性 1.2.3、稳定性 1.2.4、时变性 1.3、数据仓库与数据库的区别 1.4、构建数仓常用手段 1.5、数仓分层 1.5.1、数仓分层描述 1.5.2、为什么要进行数仓分层 1.6、获取数据 1.7、同步策略 2、数据仓库建模 2.1、范式建模法（Third Normal Form 3NF） 2.2、维度建模法 2.2.1、维度表 2.2.2、事

导言最近比较关注大数据、云计算、Docker、DevOps等几个方向，一会也简单围绕这几点跟大家做个交流。聊运维人生这个主题有点大，^_^就先从个人怎么入运维这行说起吧。人在天涯 2003年毕业后的第一份工作是当php、java程序员，人力紧张时还要兼顾美工设计的工作。工作中一次偶然的机会看到导师在黑压压的界面中敲入不同指令，第一感觉非常震撼，很COOL，联想到《黑客帝国》电

一、hbase是什么 1.1、hbase的概念 HBase基于Google的BigTable论文，是建立的HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。在需要实时读写随机访问超大规模数据集时，可以使用HBase。 1.2、hbase的特点海量存储可以存储大批量的数据列式存储 HBase表的数据是基于列族进行存储的，列族是在列的方向上的划分。极易扩展底层依赖HDFS，当磁盘空间不足的时候，只需要动态增加datanode节点就可以了

给大家推荐一本比较系统的Hadoop大数据书籍，方便大家快速入门图书简介：本书以Hadoop及其周边框架为主线，介绍了整个Hadoop生态系统主流的大数据开发技术。全书共16章，第1章讲解了VMware中CentOS 7操作系统的安装；第2章讲解了大数据开发之前对操作系统集群环境的配置；第3~16章讲解了Hadoop生态系统各框架HDFS、MapReduce、YARN、Zoo...

任大勇的课程社区_NO_2

52

社区成员

553

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章