只有mapper的job输出会写到hdsf吗？

groovy2007 2013-11-24 11:20:05

初学hadoop，有些问题想请教各位大神。

mapper的输出是写到local文件系统的。
如果只有mapper，而没有reducer，即job.setNumReduceTasks(0);
想把mapper的输出作为最终结果，这时候mapper的输出会写到hdfs吗？
另外，如果没有reducer，shuffle还会执行吗？

多谢了！

...全文

254 3 打赏收藏转发到动态举报

写回复

用AI写文章

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

groovy2007 2013-11-25

打赏
举报

多谢多谢！

少主无翼 2013-11-24

打赏
举报

依旧会输出到hdfs中，也就是你配置的output Path，输出路径必须指出，但是shuffle不会执行，因为shuffle是reduce获取mapper结果的操作，所以没有reduce自然不会发生shuffle。

groovy2007 2013-11-24

打赏
举报

补充一下，hadoop权威指南里的一个例子第8章的排序一节 hadoop jar hadoop-examples.jar SortDataPreprocessor input/ncdc/all input/ncdc/all-seq 该程序是没有reducer的，也需要指定输出目录吗？根据书中的意思all-seq应该是输出目录

mapreduce原理，以及wordcount案例全流程

一、Hadoop组成：1、Hadoop的核心是HDSF和MapReduce，Hadoop2.0以后引入了yarn。HDFS是一个分布式存储系统。MapReduce是分布式的计算框架。yarn是一个资源调度的工具。Hadoop2.0加入了zk的支持实现比较可靠的高可用。2、HDFS的启动过程：（1）、加载文件的元信息。（2）、加载日志文件。（3）、设置检查点。（4）、进入安全模式。作用是：检查数据块...

说下Spark中的Transform和Action，为什么Spark要把操作分为Transform和Action?Hive的join操作原理，leftjoin、right join、inner join、outer join的异同?在删除HBase中的一个数据的时候，它什么时候真正的进行删除呢?Hive语句的运行机制，例如包含where、having、group by、orderby，整个的执行过程?Spark的cache和persist的区别?HDFS的mapper和reducer的个数如何确定?

面试题来源：牛客网大数据面经，从约500篇面经选取。