只有mapper的job输出会写到hdsf吗?

groovy2007 2013-11-24 11:20:05
初学hadoop,有些问题想请教各位大神。

mapper的输出是写到local文件系统的。
如果只有mapper,而没有reducer,即job.setNumReduceTasks(0);
想把mapper的输出作为最终结果,这时候mapper的输出会写到hdfs吗?
另外,如果没有reducer,shuffle还会执行吗?

多谢了!
...全文
252 3 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
groovy2007 2013-11-25
  • 打赏
  • 举报
回复
多谢多谢!
少主无翼 2013-11-24
  • 打赏
  • 举报
回复
依旧会输出到hdfs中,也就是你配置的output Path,输出路径必须指出,但是shuffle不会执行,因为shuffle是reduce获取mapper结果的操作,所以没有reduce自然不会发生shuffle。
groovy2007 2013-11-24
  • 打赏
  • 举报
回复
补充一下,hadoop权威指南里的一个例子 第8章的排序一节 hadoop jar hadoop-examples.jar SortDataPreprocessor input/ncdc/all input/ncdc/all-seq 该程序是没有reducer的,也需要指定输出目录吗?根据书中的意思all-seq应该是输出目录

20,848

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧