1,261
社区成员
发帖
与我相关
我的任务
分享一段scala代码读不懂。。。
def map[U: ClassTag](f: T => U): RDD[U] = {
val cleanF = sc.clean(f)
new MapPartitionsRDD[U, T](this, (context, pid, iter) => iter.map(cleanF))
}
RDD.scala里的这个方法里的context, pid, iter不知道从哪来的啊？？
https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/RDD.scala
val cleanF = sc.clean(f)
new MapPartitionsRDD[U, T](this, (context, pid, iter) => iter.map(cleanF))
}
RDD.scala里的这个方法里的context, pid, iter不知道从哪来的啊？？
https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/RDD.scala
...全文
请发表友善的回复…
发表回复
qq_27627173 2015-04-22
- 打赏
- 举报
这里的 (context, pid, iter) => iter.map(cleanF)是个匿名函数, 作为一个类参数传入MapPartitionsRDD(也就是说在这个地方当前不会运行), (context, pid, iter)是该匿名函数的参数列表.
context, pid, iter 的实际值是在MapPartitionsRDD.compute方法中调用该匿名函数时传入的.
