yarn任务监控求教

weixin_41840616 2020-04-02 05:24:16

sparksubmit提交任务到yarn，如何通过代码的方式获取到任务从accept状态转变到running状态的时间节点和从running状态到finish状态的节点，之前通过sc拿到appid，然后通过yarnclient去获取任务状态，但是一直无法监听到accept状态，请问各路大神，有没有谁碰到过类似的问题

...全文

1786 6 打赏收藏转发到动态举报

写回复

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

arcane8964 2020-07-01

打赏
举报

回复

onApplicationStart from https://spark.apache.org/docs/latest/api/java/index.html?org/apache/spark/scheduler/SparkListener.html

fengjian_428 2020-06-30

打赏
举报

回复

访问yarn的restful接口 https://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html

weixin_41840616 2020-05-22

打赏
举报

回复

引用 3 楼 ainibc的回复:

代码访问ui的接口然后解析数据

代码访问会有延时，有没有可能通过yarn内部进行实现

ainibc 2020-05-22

打赏
举报

回复

代码访问ui的接口然后解析数据

weixin_41840616 2020-04-04

打赏
举报

回复

引用 1 楼 DanielMaster的回复:

去spark的ui看看

我是想通过代码的方式实现

DanielMaster 2020-04-03

打赏
举报

回复

去spark的ui看看

YARN & Docker实战视频教程，YARN是Hadoop 2.0中的分布式资源管理系统，能够对集群中的各类计算框架进行统一的管理和调度，同时使用轻量级隔离方案cgroups对应用程序进行隔离，避免彼此之间的干扰。然而，目前YARN对环境依赖复杂和隔离性需求高的应用程序支持不足，而这些正是Docker容器技术的优势。讲师介绍：杨华辉，Hulu北京大数据平台研发工程师，Voidbox主要开发者，目前专注于Docker和YARN的相关技术。董西成， Hulu研发工程师，《Hadoop技术内幕》系列丛书作者，目前专注于Hadoop和Spark相关技术。

简介生产环境大多数任务都会提交到yarn上去运行，所有如何获取任务在yarn上的状态以及信息，非常重要。如果能获取任务在yarn上的状态和信息，那么我们就能及时发现任务出现的问题。我们可以通过java或者python去获取yarn任务的信息。 java版第一步：把yarn-site.xml文件导入到监控系统（meavn工程）的resources文件下第二步：添加...

yarn提供了rest api 可以监控，管理跑在yarn上的任务。可以通过这些rest api 管理，监控spark on yarn任务以下的几个简单操作：官方详细rest api地址：https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html 一.spark任务监控 1.监控指定应用：curl -s "http://rm2.yarn.ns1.svc.xx.com:.

假设现在有一个flink任务在yarn上常态化运行，为了在任务失败时能重新运行，可以写一个定时脚本去监控 #!/bin/bash yarn application -list -appStates RUNNING 2>/dev/null | grep application_ |grep Flink | awk '{print $1}' > yarn_running.txt apps=$(cat yarn_monitor.txt) running_app=`yarn application

基本使用与监控基本使用 Yarn是一个资源管理框架，所以它可以对提交到集群中的任务进行查看，并可以强制结束这些任务。它常用的Shell命令有： yarn application [command_options] 一般使用流程，是先用list查看集群中未完成的所有任务以及它的ID，如果想查看任务详细信息则使用status，如果想强制终止任务则使用kill。 # 查看Yarn中未完成的所有任务 yarn application -list # 查看某个任务的运行状态 yarn applicatio

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章