mapreduce的中间结果存储在哪里?

mangoer_ys 2015-07-03 05:45:52
在书上看到说是spill的结果放在本地磁盘中,然后combine将每个Map Task的结果合并成一个文件(并没有说在本地磁盘还是HDFS上,按照我的理解说是在本地磁盘上),但是我写程序是可以在HDFS上看到map的输出结果(这证明是在HDFS上),这到底应该在哪里呢?
...全文
1286 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
lennydou 2019-03-23
  • 打赏
  • 举报
回复
我猜存本地磁盘,有些系统实现会存在内存,效率会更高
风吹的我冷 2019-01-21
  • 打赏
  • 举报
回复
MapReduce的Map阶段就是一个映射过程,怎么能在HDFS上看到结果,除非像计数器一样只有Map阶段,只需要返回计数器信息这一类的可以。
mangoer_ys 2015-07-05
  • 打赏
  • 举报
回复
顶起 !

932

社区成员

发帖
与我相关
我的任务
社区描述
云计算 云存储相关讨论
社区管理员
  • 云存储
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧