hive运行在yarn中作业不运行

qq_32457341 2020-09-06 10:47:01

hive作业提交到hadoop的yarn上，发现作业并不运行，在yarn的资源调度上看到，所有的作业都在yarn上，都分配了最小的资源，但是却不运行，集群上每天都有成千上万个作业在跑，但很少出现这个问题，这是第二次出现

...全文

388 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

背景 YARN作为Hadoop的资源管理系统，负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是Hive on MapReduce， Spark SQL为主的数据仓库作业。实时业务主要运行Spark Streaming，Flink为主的实时流计算作业。机器学习业务主要运行TensorFlow，MXNet，MLX（美团点评自研的大规模机器学习系统）等计算作业。 YARN面临高可用、扩展性、稳定性的问题很多。其中扩展性上遇到最严重的是集群和业务规模增长带来的调度器性

解决hive已经停止的任务一直在yarn上运行的问题

一、问题描述最近有数据平台的同学反馈yarn上面有一些任务跑了很久没有结束，状态一直处于running中。去Spark HistoryServer查看任务详情也没看到相关运行记录，需要人为手动kill任务才会停止并释放资源。二、问题排查从Spark HistoryServer可以看出，任务的Driver虽然启动了，但是并未执行job，并且一直阻塞在那没有退出。从yarn的角度来看，这个...

Hive提供三种可以改变环境变量的方法，分别是：（1）修改${HIVE_HOME}/conf/hive-site.xml配置文件；（2）命令行参数；（3）在已经进入cli时进行参数声明。下面分别来介绍这几种设定。上述三种设定方式的优先级依次递增。即参数声明覆盖命令行参数，命令行参数覆盖配置文件设定。方法一在Hive中，所有的默认配置都在${HIVE_HOME}/conf/h...

一、Hive使用本地模式执行操作（Hive使用资源大于20M的时候还是会采用集群yarn的方式运行）将hive的job交给yarn执行太慢，hive支持本地模式設置本地模式之前的，耗時 9.068 設置本地模式之后的，耗時 0.29 设置hive基于本地模式的方法 1、设置临时的在每次执行hql语句之前都要先执行下面这句话 set hive.exec.mode.local.auto...

932

社区成员

652

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章