20,842
社区成员
发帖
与我相关
我的任务
分享只有mapper的job输出会写到hdsf吗？
初学hadoop，有些问题想请教各位大神。
mapper的输出是写到local文件系统的。
如果只有mapper，而没有reducer，即job.setNumReduceTasks(0);
想把mapper的输出作为最终结果，这时候mapper的输出会写到hdfs吗？
另外，如果没有reducer，shuffle还会执行吗？
多谢了！
mapper的输出是写到local文件系统的。
如果只有mapper，而没有reducer，即job.setNumReduceTasks(0);
想把mapper的输出作为最终结果，这时候mapper的输出会写到hdfs吗？
另外，如果没有reducer，shuffle还会执行吗？
多谢了！
...全文
请发表友善的回复…
发表回复
groovy2007 2013-11-25
- 打赏
- 举报
多谢多谢！
少主无翼 2013-11-24
- 打赏
- 举报
依旧会输出到hdfs中，也就是你配置的output Path，输出路径必须指出，但是shuffle不会执行，因为shuffle是reduce获取mapper结果的操作，所以没有reduce自然不会发生shuffle。
groovy2007 2013-11-24
- 打赏
- 举报
补充一下，hadoop权威指南里的一个例子
第8章的排序一节
hadoop jar hadoop-examples.jar SortDataPreprocessor input/ncdc/all input/ncdc/all-seq
该程序是没有reducer的，也需要指定输出目录吗？根据书中的意思all-seq应该是输出目录
