932
社区成员
发帖
与我相关
我的任务
分享mapreduce的中间结果存储在哪里？
在书上看到说是spill的结果放在本地磁盘中，然后combine将每个Map Task的结果合并成一个文件（并没有说在本地磁盘还是HDFS上，按照我的理解说是在本地磁盘上），但是我写程序是可以在HDFS上看到map的输出结果（这证明是在HDFS上），这到底应该在哪里呢？
...全文
请发表友善的回复…
发表回复
lennydou 2019-03-23
- 打赏
- 举报
我猜存本地磁盘，有些系统实现会存在内存，效率会更高
风吹的我冷 2019-01-21
- 打赏
- 举报
MapReduce的Map阶段就是一个映射过程，怎么能在HDFS上看到结果，除非像计数器一样只有Map阶段，只需要返回计数器信息这一类的可以。
mangoer_ys 2015-07-05
- 打赏
- 举报
顶起 ！
