社区
Spark
帖子详情
spark正常启动后webui没有worker显示
abcdefg550
2020-02-29 01:11:33
两个slave结点worker都正常运行 但是web就是看不到
...全文
1214
3
打赏
收藏
spark正常启动后webui没有worker显示
两个slave结点worker都正常运行 但是web就是看不到
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
DanielMaster
2020-03-06
打赏
举报
回复
配置文件应该是这样的 export JAVA_HOME=/usr/local/jdk1.8.0_73 export SCALA_HOME=/home/hadoop/apps/scala export SPARK_MASTER_IP=hadoop01 export SPARK_MASTER_PORT=7077 ##rpc通信端口,类似hdfs的9000端口,不是50070 export SPARK_WORKER_CORES=2 export SPARK_WORKER_INSTANCES=1 export SPARK_WORKER_MEMORY=1g export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-2.7.6/etc/hadoop
abcdefg550
2020-02-29
打赏
举报
回复
顶顶顶顶顶顶
abcdefg550
2020-02-29
打赏
举报
回复
有人吗有人吗
内存计算框架
Spark
实战
spark
集群模式,资源调度由自己实现。分布式模式节点,资源调度掌握整个集群的资源。
Spark
启动
后
Web
UI
看不到
Worker
s
Work
启动
,但Http中
没有
Worker
节点:说明Slave节点与Master的通讯出现问题,或Slave节点无法向Master注册,导致虽然Woker
启动
但不能在Master中找到。 搜了一堆,被这个问题折磨了一天,总结一下主要是下面几个解决办法 1.
spark
-env.sh 文件中需要显式地设置一些环境变量,不用系统默认值 参考:https://blog.csdn.net/qq1187239259/article/details/79489800?utm_source=blogxgwz2 2
错误:
启动
spark
后在
web
页面看不到
worker
节点的信息
今天安装了一个高可用的
spark
集群,但是
启动
之后,每个节点上用jps命令都可以查看到有Master和
Worker
进程,但是登录
UI
界面却
没有
Worker
信息,查看
Worker
节点上的日志文件,发现竟然出错了,错误如下: 错误
显示
Worker
无法连接到Master节点。 找了好长时间,终于发现了问题,出现这个错误的原因就是端口的问题。 我们知道,
spark
集群上Master节点和
Worker
节点...
spark
集群
启动
后,子机器上有
worker
进程,但在master机器上打开
web
ui
,
worker
却只有master是为什么?
个人在学习时,电脑突然更新了,导致虚拟机关闭,伪集群挂起。重新打开时,发现
spark
集群
启动
后,
worker
进程
启动
,但并
没有
在master上注册。百度了下,发现防火墙打开了。。。 转自https://segmentfault.com/q/1010000010586142 关闭防火墙后master和
worker
之间能正常通信了。 $ service iptables status ##查看防...
Spark
Web
UI
详解
Spark
Web
UI
是学习调试
spark
任务的入口,查看
spark
UI
任务日志也是一项必备技能。但在几番搜索后,一直没能找到全面详细地对如何查看
spark
Web
UI
方法的文章,故在查看资料及个人理解的基础上整理了本篇文章,欢迎大家一起交流学习! 下面对
spark
Web
UI
的各tab页分别进行介绍: 1. Jobs 在提交
spark
任务运行后,日志中会输出tracking UR...
Spark
1,270
社区成员
1,170
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章