spark配置worker节点数量

yss729 2016-06-03 10:23:02



大神帮我看看 ,配置worker_instances=1 ,但是用 ./sbin/start-all.sh 启动后出现了4个worker节点,这是为什么,和我的启动方式有关?

...全文
1870 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
刘广睿 2017-11-28
  • 打赏
  • 举报
回复
我也是遇到过这个问题 关闭spark集群 从新启动的就好了 。 出现这个问题的原因 可能是因为 spark启动集群的时候,在不同的节点启动了两次。 正常请求只在主节点启动一次 。 (这种情况是针对在搭建spark集群的采用的指定master节点的原因)如果是配置spark HA集群的话 。。我就不太清楚了
Ashely_Xie 2017-11-22
  • 打赏
  • 举报
回复
你好,我也遇到了,请问怎么解决的?是什么地方出问题了呢?
yu3wu4 2017-05-23
  • 打赏
  • 举报
回复
楼主怎么解决的呢?我现在遇到了一样的问题,我没有设置这个参数,启动的时候是两个workers,跑脚本的时候变成了四个
LinkSe7en 2016-06-03
  • 打赏
  • 举报
回复
看看你$SPARK_HOME/conf/slaves的配置

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧