远程调试spark-shell报错

JH_0924 2018-05-02 11:19:57

想远程调试下spark-shell，在spark-class中添加远程调试参数

启动之后会报错

但是在不加这个调试参数正常运行时是没有问题的。

下图是源码中报错的代码

...全文

1879 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

cocoa2003 2018-08-27

打赏
举报

回复

可以试试用sparkJobServer开源软件，通过sparkJobServer发布Rest接口出来更方便。sparkJobServer集成了远程连接spark功能。

kxiaozhuk 2018-07-06

打赏
举报

回复

spark远程调试是将jar传上集群启动，然后在IDE里面去调试代码，你用spark-shell根本就没有程序可以在IDE里面去远程调试，断点都没得打，怎么调试呢？

zgycsmb 2018-05-25

打赏
举报

回复

scala中要先建一个package。要不然找不到class

运行spark-shell查看版本报错[init] error: error while Loading object, Missing dependency‘ object scala in

1.首先调试spark分为好几个阶段有spark提交阶段，spark-driver，executor，下面分别介绍如何进行调试 spark-submit 或者spark-sql的提交 spark-sql的提交也是通过spark-submit spark-submit是通过spark-class spark-class会去执行 java -cp xxx的命令来启动spark， ...

本部分来源，也可以到spark官网查看英文版。使用spark-submit时，应用程序的jar包以及通过—jars选项包含的任意jar文件都会被自动传到集群中。spark-submit --class --master --jars Spark根目录的bin目录下spark-submit脚本用于在集群上启动应用程序，它通过统一接口使用Spark所支持的所有集群管理器，因此无需特殊配置每一个

Python语言开发Spark程序步骤？主要是获取SparkContext对象,基于SparkContext对象作为执行环境入口如何提交Spark应用？将程序代码上传到服务器上, 通过spark-submit客户端工具进行提交。

在解决该问题时，我们需要分析具体原因并采取相应的解决方案。然而，由于网络或安全策略等原因，可能会出现连接被拒绝的情况，导致Spark无法连接到所需的资源，从而引发启动报错问题。大数据处理框架Spark在进行任务提交及启动运行过程中可能会遇到连接被拒绝的情况，这会导致Spark启动报错。本文将介绍该问题的解决方案，并提供相应的源代码示例。要解决此问题，我们可以根据实际情况修改防火墙规则，允许Spark相关的通信。资源不足：如果集群中的资源（如内存、CPU）不足，可能会导致连接被拒绝。一、问题分析及原因探究。

1,258

社区成员

1,168

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章