spark ui中executors的storage memory一直在增长,是否正常?

book_reinforce 2017-07-05 05:20:03
如图所示,我发现不管我把executor的memory设成多少,最终还是会涨满,不知道是怎么回事,有谁能解释下吗?谢谢

...全文
515 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
Mn_H 2019-10-16
  • 打赏
  • 举报
回复
修改参数 spark.dynamicAllocation.enabled为false试一下

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧