spark shuffleread 刚从远程节点抓取过来的数据是放在堆外内存吗?如果很大,起步容易oom?

阿光365 2016-08-29 12:29:35
如题,shuffleRead使用netty从远程节点抓取数据会返回一个managerBuf,那么这个buf使用的是堆外内存还是堆内内存呢?感觉应该是堆外内存,那么这个内存是不是受spark 的memoryManager管理呢?代码中好像不受memoryManager管理,那这样的话,如果一个map的输出结果很大,被netty抓过来后放到堆外内存中,岂不是很容易oom?我想知道,netty抓取过来的数据会写到文件中吗?对netty不熟,忘大神指点,困扰很久很久了。
...全文
1498 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

1,261

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧