社区
Hadoop生态社区
帖子详情
hadoop中hdfs和hive的关系是什么呢?
qq_34273497
2017-07-25 06:53:59
我是初学者,我想问一下我把存好的文件直接上传到hive后,会自动通过hdfs分配到各节点上面吗?
...全文
3448
4
打赏
收藏
hadoop中hdfs和hive的关系是什么呢?
我是初学者,我想问一下我把存好的文件直接上传到hive后,会自动通过hdfs分配到各节点上面吗?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
kazoroth
2017-08-05
打赏
举报
回复
hdfs是文件系统 用来装数据的,hive是用来调用计算引擎操作数据的
LinkSe7en
2017-07-25
打赏
举报
回复
hdfs就是个文件系统,和我们的NTFS FAT32一样,不过是分布式的。你这问题就好比mysql和ntfs的关系。。。 一般要把文件load进hive表,首先要把文件放到HDFS上。。。
aaadcdfvge4fv54313f
2017-07-25
打赏
举报
回复
‘把存好的文件直接上传到hive’ 本身hive里就不存在这样的操作。 hive的数据文件存储在hdfs上,至于hdfs文件位置是由hadoop管理的,真实的文件位置对使用者来说是无意义的,只要知道hdfs地址就行了
qq_34273497
2017-07-25
打赏
举报
回复
没人知道吗?
Hadoop
、
HDFS
、
Hive
、Hbase之间的
关系
Hbase:是一款基于
HDFS
的数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等。Hbase和
Hive
在大数据架构
中
处在不同位置,Hbase主要解决实时数据查询问题,
Hive
主要解决数据处理和计算问题,一般是配合使用。
Hive
:用户处理存储在
HDFS
中
的数据,
hive
的意义就是把好写的
hive
的sql转换为复杂难写的map-reduce程序。,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能。
大数据篇 |
Hadoop
、
HDFS
、
HIVE
、HBase、Spark之间的联系与区别
大数据篇 |
Hadoop
、
HDFS
、
HIVE
、HBase、Spark之间的联系与区别
Hive
、
HDFS
和
hadoop
关系
Hive
构建在
Hadoop
上 HQL
中
对查询语句的解释、优化、生成查询计划是由
Hive
完成的所有的数据存储在
Hadoop
上。 询计划被转化为 MapReduce 任务,在
Hadoop
中
执行(有些查询没有 MR 任务,如:select * from table)
Hadoop
和
Hive
都是用UTF-8编码的
Hadoop
三大组件: 分布式文件系统:
HDFS
—— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架:MapReduce——实现多台机器的分布式并行运算。 分布式资源调度平台:YARN —
Hadoop
/HbBase/
Hive
/
HDFS
/MapReduce都是什么?
hadoop
是
hive
和hbase的基础,
hive
依赖
hadoop
,而hbase仅依赖
hadoop
的
hdfs
模块。
hive
适用于离线数据的分析,操作的是通用格式的(如通用的日志文件)、被
hadoop
管理的数据文件,它支持类sql,比编写MapReduce的java代码来的更加方便,它的定位是数据仓库,存储和分析历史数据。hbase适用于实时计算,采用列式结构的nosql,操作的是自己生成的特殊格式的HFile、被
hadoop
管理的数据文件,它的定位是数据库,或者叫DBMS。
大数据入门之
Hadoop
,
HDFS
,Hbase,
Hive
Hadoop
:是泛指大数据生态,实际上基本包括 存储(
HDFS
) + 计算(MapReduce);
HDFS
:
Hadoop
分布式文件系统,主要是解决存储的问题; Hbase: 基于
Hadoop
的高性能nosql数据库;
Hive
: 最常用的数据仓库;
Hadoop生态社区
20,807
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章