broadcast 出现OOM

[卡奥斯道]

.set("spark.executor.instances", "16")
.set("spark.executor.cores", "3")
.set("spark.executor.memory", "16G")

broadcast( Hashmap结构 )
Hashmap结构 存放数据40--50MB之间，怎么会出现OOM呢？

按理不是每台机器备份一份数据吗，每台也就50MB,16个节点

[hery_csnd168]

.set("spark.executor.memory", "16G") 虽然这里是设置了16g ，但也要看你的节点上的内存真正剩下多少，假如值剩下20MB,那么你这里设置这么大，也是起不来作用的

[迷途1503]

broadcast是在每个executor上有一份数据，不是在每个节点上，另外，你确定OOM是因为broadcast引起的吗？