Spark clear问题

念来过倒蛋笨 2014-12-14 10:06:25
在我的程序中声明了一个HashMap:
 val filterMap = new HashMap[(String, String), Long]
var broadFilterMap = sc.broadcast(filterMap)

然后将该Map clear:
filterMap.clear()

结果所有的RDD也都为空了。。。不知道是为什么。这是spark的什么原理啊?难道是broadcast的变量不能clear么?
...全文
66 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

1,261

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧