spark正常启动后webui没有worker显示

abcdefg550 2020-02-29 01:11:33

两个slave结点worker都正常运行但是web就是看不到

...全文

1215 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

DanielMaster 2020-03-06

打赏
举报

回复

配置文件应该是这样的 export JAVA_HOME=/usr/local/jdk1.8.0_73 export SCALA_HOME=/home/hadoop/apps/scala export SPARK_MASTER_IP=hadoop01 export SPARK_MASTER_PORT=7077 ##rpc通信端口，类似hdfs的9000端口，不是50070 export SPARK_WORKER_CORES=2 export SPARK_WORKER_INSTANCES=1 export SPARK_WORKER_MEMORY=1g export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-2.7.6/etc/hadoop

abcdefg550 2020-02-29

打赏
举报

回复

顶顶顶顶顶顶

abcdefg550 2020-02-29

打赏
举报

回复

有人吗有人吗

spark集群模式，资源调度由自己实现。分布式模式节点，资源调度掌握整个集群的资源。

Work启动，但Http中没有Worker节点：说明Slave节点与Master的通讯出现问题，或Slave节点无法向Master注册，导致虽然Woker启动但不能在Master中找到。搜了一堆，被这个问题折磨了一天，总结一下主要是下面几个解决办法 1. spark-env.sh 文件中需要显式地设置一些环境变量，不用系统默认值参考：https://blog.csdn.net/qq1187239259/article/details/79489800?utm_source=blogxgwz2 2

今天安装了一个高可用的spark集群，但是启动之后，每个节点上用jps命令都可以查看到有Master和Worker进程，但是登录UI界面却没有Worker信息，查看Worker节点上的日志文件，发现竟然出错了，错误如下：错误显示Worker无法连接到Master节点。找了好长时间，终于发现了问题，出现这个错误的原因就是端口的问题。我们知道，spark集群上Master节点和Worker节点...

个人在学习时，电脑突然更新了，导致虚拟机关闭，伪集群挂起。重新打开时，发现spark集群启动后，worker进程启动，但并没有在master上注册。百度了下，发现防火墙打开了。。。转自https://segmentfault.com/q/1010000010586142 关闭防火墙后master和worker之间能正常通信了。 $ service iptables status ##查看防...

Spark Web UI是学习调试spark任务的入口，查看spark UI任务日志也是一项必备技能。但在几番搜索后，一直没能找到全面详细地对如何查看spark Web UI方法的文章，故在查看资料及个人理解的基础上整理了本篇文章，欢迎大家一起交流学习！下面对spark Web UI的各tab页分别进行介绍： 1. Jobs 在提交spark任务运行后，日志中会输出tracking UR...

1,270

社区成员

1,170

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章