1,258
社区成员
发帖
与我相关
我的任务
分享spark的缓存问题
问一下，spark中缓存persist或者cache，这两个操作属于transform还是action?
我现在在尝试，读取一个文件，然后将其缓存
val memory = sc.textFile("part-all0").map(x=>(x.split(",")[0],x)).partitionBy(new HashPartitioner(100)).persist()
但是在spark ui中executors中表示内存使用0
如果我在后面加一个action操作
memory.count()
executors中内存就有使用了。
所以我想问一下，这个persist是在什么时候才开始执行的。
我现在在尝试，读取一个文件，然后将其缓存
val memory = sc.textFile("part-all0").map(x=>(x.split(",")[0],x)).partitionBy(new HashPartitioner(100)).persist()
但是在spark ui中executors中表示内存使用0
如果我在后面加一个action操作
memory.count()
executors中内存就有使用了。
所以我想问一下，这个persist是在什么时候才开始执行的。
...全文
请发表友善的回复…
发表回复
砍柴大叔 2017-10-30
- 打赏
- 举报
persist和cache都是懒执行的，只有遇到action类的算子才会触发执行
