spark中executor如何分配?

njzhangke 2016-07-10 09:28:38
spark中如何分配executor才比较合理。
...全文
3657 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
西红小柿 2017-04-09
  • 打赏
  • 举报
回复
你这个问题解决了吗?可以共享一下吗
SongDongmei 2016-07-13
  • 打赏
  • 举报
回复
楼上说的对。要根据你应用跑的情况来合理分配executor数量,以达到比较优的性能。
cdycheng 2016-07-11
  • 打赏
  • 举报
回复
用户应用new SparkContext后,集群就会为在Worker上分配executor,但是增加executor的时候需要考虑好内存消耗,因为一台机器的内存分配给越多的executor,每个executor的内存就越小,以致出现过多的数据spill over甚至out of memory的情况。CPU的core数量,每个executor可以占用一个或多个core,可以通过观察CPU的使用率变化来了解计算资源的使用情况,如此根据CPU的使用情况来分配executor数量,没有固定分配数量模式。

742

社区成员

发帖
与我相关
我的任务
社区描述
该论坛主要探讨Linux系统在IBM Power平台的安装、部署、应用开发等话题,并为网友们提供自由交流的平台。
社区管理员
  • Power Linux社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧