Hadoop 2.x安装部署的三种模式01

csdn特训营 2023-01-12 23:50:02

课时名称	课时知识点
Hadoop 2.x安装部署的三种模式01

...全文

4 回复打赏收藏举报

写回复

切换为时间正序

请发表友善的回复…

发表回复

文章目录Hadoop 2.X的安装与配置3.1Hadoop安装部署的预备条件3.2Hadoop的目录结构3.3Hadoop安装部署的三种模式3.3.1本地模式3.3.2伪分布模式3.3.3全分布模式3.4 免密码登录的原理和配置3.5 主从节点的单点故障 Hadoop 2.X的安装与配置 3.1Hadoop安装部署的预备条件安装Linux和配置Linux 配置Linux网卡信息 vi /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO=static

本课程主要介绍hive的架构与应用，首先介绍了hive的实现结构，然后介绍了Hive Metastore三种模式，接着重点介绍hive的安装与配置，以及hive sql的基本操作，后面又介绍了hive beeline、hive on tez的使用，并测试了hive on MR和TEZ的性能优缺。

本课程以apache hadoop发行版本为例，介绍如何实现hadoop与hive的整合，hadoop环境采用手动安装的hadoop3.2.1环境，hive版本同样采用apache hive3.1.2发行版本。以3台主机为例作为hive安装环境，采用Centos7.7操作系统。

课程大纲如下：

1、hive的架构与应用场景

2、Hive Metastore三种运行模式

3、hive安装以及与hadoop整合

4、hive的安装与配置

5、启动metastore与hiveserver2服务

6、hive常用SQL操作

7、beeline的使用

8、tez的编译以及tez与hive整合步骤

9、测试tez功能以及与MR性能比较

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。本课程讲解搭建hadoop集群的全过程,从安装vmware,centos开始,从本地模式,伪分布式到全分布式,讲解实现经典案例wordcount结束,全方位讲解hadoop的操作细节,带你完成hadoop的安装和入门

发帖