社区
Hadoop生态社区
帖子详情
只有mapper的job输出会写到hdsf吗?
groovy2007
2013-11-24 11:20:05
初学hadoop,有些问题想请教各位大神。
mapper的输出是写到local文件系统的。
如果只有mapper,而没有reducer,即job.setNumReduceTasks(0);
想把mapper的输出作为最终结果,这时候mapper的输出会写到hdfs吗?
另外,如果没有reducer,shuffle还会执行吗?
多谢了!
...全文
252
3
打赏
收藏
只有mapper的job输出会写到hdsf吗?
初学hadoop,有些问题想请教各位大神。 mapper的输出是写到local文件系统的。 如果只有mapper,而没有reducer,即job.setNumReduceTasks(0); 想把mapper的输出作为最终结果,这时候mapper的输出会写到hdfs吗? 另外,如果没有reducer,shuffle还会执行吗? 多谢了!
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
groovy2007
2013-11-25
打赏
举报
回复
多谢多谢!
少主无翼
2013-11-24
打赏
举报
回复
依旧会输出到hdfs中,也就是你配置的output Path,输出路径必须指出,但是shuffle不会执行,因为shuffle是reduce获取mapper结果的操作,所以没有reduce自然不会发生shuffle。
groovy2007
2013-11-24
打赏
举报
回复
补充一下,hadoop权威指南里的一个例子 第8章的排序一节 hadoop jar hadoop-examples.jar SortDataPreprocessor input/ncdc/all input/ncdc/all-seq 该程序是没有reducer的,也需要指定输出目录吗?根据书中的意思all-seq应该是输出目录
MapReduce
mapreduce原理,以及wordcount案例全流程
hadoop
job
命令_Hadoop知识总结
一、Hadoop组成:1、Hadoop的核心是
HDSF
和MapReduce,Hadoop2.0以后引入了yarn。HDFS是一个分布式存储系统。MapReduce是分布式的计算框架。yarn是一个资源调度的工具。Hadoop2.0加入了zk的支持实现比较可靠的高可用。2、HDFS的启动过程:(1)、加载文件的元信息。(2)、加载日志文件。(3)、设置检查点。(4)、进入安全模式。作用是:检查数据块...
大数据高频面试题
说下Spark中的Transform和Action,为什么Spark要把操作分为Transform和Action?Hive的join操作原理,leftjoin、right join、inner join、outer join的异同?在删除HBase中的一个数据的时候,它什么时候真正的进行删除呢?Hive语句的运行机制,例如包含where、having、group by、orderby,整个的执行过程?Spark的cache和persist的区别?HDFS的
mapper
和reducer的个数如何确定?
大数据面试题汇总
说下Spark中的Transform和Action,为什么Spark要把操作分为Transform和Action?Hive的join操作原理,leftjoin、right join、inner join、outer join的异同?在删除HBase中的一个数据的时候,它什么时候真正的进行删除呢?Hive语句的运行机制,例如包含where、having、group by、orderby,整个的执行过程?Spark的cache和persist的区别?HDFS的
mapper
和reducer的个数如何确定?
大数据面试题V2.0,641页,39w字
面试题来源:牛客网大数据面经,从约500篇面经选取。
Hadoop生态社区
20,848
社区成员
4,696
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章