无论我在Hive中执行什么sql语句，hadoop监控界面都看不到任何信息，但执行普通MR程序是没有问题的，是什么原因

lufyang 2016-10-15 11:34:28
无论我在Hive中执行什么sql语句，hadoop监控界面都看不到任何信息，但执行普通MR程序是没有问题的，是什么原因


急等，谢谢各位大拿。
...全文
650 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
hive SQL语句执行过程
hive SQL语句执行过程 背景了解： hive数仓数据存储于Hadoop大数据框架的HDFS文件系统中，以文件的方式存储，hive是建立在Hadoop之上的数仓工具，hive将文件数据映射成结构性数据-表。 了解hive SQL语句： hive SQL语句是在hive上执行的类SQL语句，可以通过hive将hive SQL语句转换成MapReduce程序操作数据，而不必开发专门的应用程序。 示...
怎样在Hadoop中查看MR执行的SQL语句
2019独角兽企业重金招聘Python工程师标准>>> ...
hiveSQL执行，转化为MR过程
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。------ 百度百科 hive的库、表等数据操作实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容。 一直好奇hiveSQL转化为MR过程，好奇hive是如何做到这些的，所以在网上找了
Hadoop 3.2.2 + Hive 3.1.2 + Tez 0.10.1 冲突解决（Hive sql MR任务执行结果跟预期不一致）
因公司分析订单数据要求，全面装行大数据工程师，在自己摸索Hadoop+Hive+Tez on Hive上花费了不少时间也趟了不少坑。 该篇文章主要记录下较新版的Hadoop+Hive搭建遇到比较大的问题 在开始的时候并没有使用tez替换计算引擎，公司主要是离线数仓，但是在使用hadoop的MR执行的时候出现了查询数据跟预期结果不同的严重BUG，确认不是sql 的问题，公司的业务需求写了一条较多嵌套的sql，查询结果严重偏离预期，使用 with [table] as 问题依旧出现，只有把部分嵌套的语句的
Hive执行sql时的工作流程详解
今天也要努力学习 简单的说下hive： hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转化为Mapreduce任务进行运行。 hive实现： hive是基于Hadoop的一个数据仓库工具， 由Driver组...
Spark

1,258

社区成员

1,168

社区内容

发帖
与我相关
我的任务
社区描述
Spark由Scala写成，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章