spark shuffleread 刚从远程节点抓取过来的数据是放在堆外内存吗?如果很大,起步容易oom?
阿光365 2016-08-29 12:29:35 如题,shuffleRead使用netty从远程节点抓取数据会返回一个managerBuf,那么这个buf使用的是堆外内存还是堆内内存呢?感觉应该是堆外内存,那么这个内存是不是受spark 的memoryManager管理呢?代码中好像不受memoryManager管理,那这样的话,如果一个map的输出结果很大,被netty抓过来后放到堆外内存中,岂不是很容易oom?我想知道,netty抓取过来的数据会写到文件中吗?对netty不熟,忘大神指点,困扰很久很久了。