为什么hadoop的mapreduce链中的reducer最多只能有一个？

张小琦 2015-04-26 04:19:36

为什么hadoop的mapreduce链中的reducer最多只能有一个

...全文

98 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

将代码存储在/usr/local/hadoop/reducer.py 中，这个脚本的作用是从mapper.py 的STDIN中读取结果，然后计算每个单词出现次数的总和，并输出结果到STDOUT。同样，要注意脚本权限：chmod +x reducer.py测试你的代码（cat data | map | sort | reduce）我建议你在运行MapReduce job测试前尝试手工测试你的mapper.py 和 reducer.py脚本，以免得不到任何返回结果。

MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。

Hadoop 是一个分布式计算平台，能够处理大规模数据集。Hadoop 分布式文件系统（HDFS）：HDFS 是 Hadoop 的分布式存储系统，负责将数据分散存储在集群中的多个节点上，并提供容错机制。MapReduce：MapReduce 是 Hadoop 的计算框架，用于处理大规模数据。它通过将任务分成 Map 和 Reduce 两个阶段，利用分布式计算模型实现大规模数据的并行处理。：YARN 是 Hadoop 的资源管理系统，负责管理集群资源并调度任务。

分布式计算概念分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。MapReduce介绍Hadoop MapReduce是一个分布式计算框架，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集）。

51,396

社区成员

85,837

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章