Spark如何Kill掉application

Forrestleo 2017-06-22 04:50:12

项目需要，要对spark的一些任务进行监控，有些任务积压过多，要kill掉。
求大家指导一下，如何kill掉提交的application

...全文

5010 9 打赏收藏转发到动态举报

写回复

用AI写文章

9 条回复

切换为时间正序

请发表友善的回复…

发表回复

kimbel 2017-08-24

打赏
举报

引用 2 楼 Forrestleo 的回复:

我看一些官方的文档，是没提供停止job的函数。spark有一个隐藏的rest API，您指的是否是这些呢？ ================================>>> spark rest 客户端有停止job的函数

spark有一个隐藏的rest API 为什么apache 官网上找不到啊

一个智子 2017-08-23

打赏
举报

直接在你spark集群的web客户端页面就可以啊，找到相应的Application，点击kill

斯温jack 2017-08-03

打赏
举报

/stages/stage/kill/?id=1701

斯温jack 2017-08-02

打赏
举报

一个思路在ui处看kill所发送的请求找到api后调用api后面的函数不知道行不行

shadon178 2017-07-27

打赏
举报

yarn application -list 查询所有的任务；然后使用yarn application -kill <appId>

Forrestleo 2017-07-04

打赏
举报

引用 3 楼 shadon178的回复:

Spark里面有命令可以直接杀掉，具体命令你需要查一下，反正是有的。

spark里，我看到的kill掉application的方法，都是要知道driverid的，这种方法适用于通过rest去提交的任务。我们现在工程里，都是用脚本提交的

shadon178 2017-07-04

打赏
举报

Spark里面有命令可以直接杀掉，具体命令你需要查一下，反正是有的。

Forrestleo 2017-07-03

打赏
举报

我看一些官方的文档，是没提供停止job的函数。spark有一个隐藏的rest API，您指的是否是这些呢？ ================================>>> spark rest 客户端有停止job的函数

freshghost1234 2017-06-30

打赏
举报

spark rest 客户端有停止job的函数

文档是自己对hadoop-2.7进行高可用安装的过程，配置详细。 Apache Hadoop 2.7.3 is a minor release in the 2.x.y release line, building upon the previous stable release 2.7.2. Here is a short overview of the major features and improvements. Common Authentication improvements when using an HTTP proxy server. This is useful when accessing WebHDFS via a proxy server. A new Hadoop metrics sink that allows writing directly to Graphite. Specification work related to the Hadoop Compatible Filesystem (HCFS) effort. HDFS Support for POSIX-style filesystem extended attributes. See the user documentation for more details. Using the OfflineImageViewer, clients can now browse an fsimage via the WebHDFS API. The NFS gateway received a number of supportability improvements and bug fixes. The Hadoop portmapper is no longer required to run the gateway, and the gateway is now able to reject connections from unprivileged ports. The SecondaryNameNode, JournalNode, and DataNode web UIs have been modernized with HTML5 and Javascript. YARN YARN’s REST APIs now support write/modify operations. Users can submit and kill applications through REST APIs. The timeline store in YARN, used for storing generic and application-specific information for applications, supports authentication through Kerberos. The Fair Scheduler supports dynamic hierarchical user queues, user queues are created dynamically at runtime under any specified parent-queue.

项目需要，要对spark的一些任务进行监控，有些任务积压过多，要kill掉。查询所有的任务； lcc@lcc spark-2.0.1-bin-hadoop2.7$ yarn application -list 18/07/12 15:01:39 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 18/07/...

Spark 3.0.0 Application 提交给集群的原理和源码详解，内容包括Spark Application 到底是如何提交给集群的：Application 提交参数配置详解、Application 提交给集群原理详解、Application 提交给集群源码详解；Spark Application 是如何向集群申请资源的：Application 申请资源的两种类型详解、Application 申请资源的源码详解；从Application 提交的角度重新审视Driver：Driver 到底是什么时候产生的、Driver 和Master 交互原理解析、Driver 和Master 交互源码详解；从Application 提交的角度重新审视Executor：Executor 到底是什么时候启动的、Executor 如何把结果交给Application； Spark RPC 内幕解密：运行机制、源码详解、Netty 与Akka。

yarn application -list 查询所有的任务然后使用yarn application -kill

找到需要删除的Application ID 如 : app-20190219171118-0060 在master节点机器上执行命令 curl -X POST “http://192.168.1.73:8080/app/kill/?id=app-20190219171118-0060&terminate=true” （换成自己的master节点,把id 改成自己的Application ...

Spark

1,258

社区成员

1,168

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章