Spark 启动失败

buzhaodiao 2019-01-23 12:43:56

如图，Hadoop dfs启动成功，Spark启动失败，日志很简单，什么提示都没有，大佬们知道怎么解决嘛？

...全文

264 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

咸鱼欲翻身 2021-11-23

打赏
举报

回复

我也一样，日志无错误提醒，难受

spring-security-oath2自带sample的sparklr的war版好不容易mvn成功的，供下载！

本课程讲解Spark 3.0.0 集群启动原理和源码详解的内容，包括：Master 启动原理和源码详解: Master 启动的原理详解、 Master 启动的源码详解、 Master HA 双机切换、 Master 的注册机制和状态管理解密； Worker 启动原理和源码详解: Worker 启动的原理流程、 Worker 启动的源码详解； ExecutorBackend 启动原理和源码详解: ExecutorBackend 接口与Executor 的关系、 ExecutorBackend 的不同实现、ExecutorBackend 中的通信、 ExecutorBackend 的异常处理； Executor 中任务的执行: Executor 中任务的加载、Executor 中的任务线程池、任务执行失败处理、揭秘TaskRunner； Executor 执行结果的处理方式。

本课程讲解Spark 3.0.0 Driver 启动内幕的内容，包括：Spark Driver Program 剖析:Spark Driver Program、SparkContext 深度剖析、SparkContext 源码解析；DAGScheduler 解析：DAG 的实例化、DAGScheduler 划分Stage 的原理、DAGScheduler 划分Stage 的具体算法、Stage 内部Task 获取位置的算法；TaskScheduler 解析：TaskScheduler 原理剖析、TaskScheduler 源码解析；SchedulerBackend 解析：SchedulerBackend 原理剖析、SchedulerBackend 源码解析、Spark 程序的注册机制、Spark 程序对计算资源Executor 的管理；打通Spark 系统运行内幕机制循环流程。

spark 启动失败，出现如下异常 Call From hadoop-103/192.168.23.103 to hadoop-101:9000 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/Connecti...

在启动spark-shell时，无法初始化，hdfs上没有对应的日志存放目录，但是hdfs陷入安全模式无法关闭，只能删除所有集群上的所有数据和日志，格式化hdfs，手动创建spark要求的目录。

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章