webui显示的executor小于设置的

Charcla 2019-01-25 11:01:08
我在sparksubmit设置了4个executor每个3G内存,一个core,但是运行却只有两个excutor,有时候又突然变成3个

...全文
218 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复
spark on yarn的话,如果yarn资源不够你的设置,只能给你比如2个 executor * 3G,其中一个还是 AM,资源够了,会再给你开一个。 资源不够的情况下,页面上看到的肯定不等于设置的。

1,261

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧