MapReduce ChainMapper

yingtangtong5878 2016-12-22 03:25:09

求助在第一个Map类中生成的二维Text[][],，怎么传递到第二个Map类使用，程序为什么传递不过去

...全文

102 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

yingtangtong5878 2016-12-22

打赏
举报

回复

就是我准备在第一个Map任务中把输入文件存到二维数组，在第二个Map任务中处理这个数组，但是第一个Map任务生成的数组怎么传到第二个Map任务

boybaozi 2016-12-22

打赏
举报

回复

这和MapReduce有什么关系。。。

1. Hadoop简介 2. Hadoop安装配置 3. MapReduce计算模型 4. MapReduce应用程序 5. MapReduce应用案例 6. MapReduce工作机制 7. Hadoop I/O操作 8. 下一代MapReduce: Yarn 9. HDFS简介 10. HDFS文件结构 11. Hive详解 12. HBase详解 13. Mahout简介 14. Pig详解 15. ZooKeeper详解 16. Avro详解 17. Chukwa详解 18. Hadoop的常用插件与开发 19. Hadoop在yahoo的应用附录A：云计算在线监测平台附录B： Hadoop安装、运行、使用说明附录C：使用DistributedCache的MapReduce程序附录D：使用ChainMapper和ChainReducer的MapReduce程序

1. Hadoop简介 2. Hadoop安装配置 3. MapReduce计算模型 4. MapReduce应用程序 5. MapReduce应用案例 6. MapReduce工作机制 7. Hadoop I/O操作 8. 下一代MapReduce: Yarn 9. HDFS简介 10. HDFS文件结构 11. Hive详解 12. HBase详解 13. Mahout简介 14. Pig详解 15. ZooKeeper详解 16. Avro详解 17. Chukwa详解 18. Hadoop的常用插件与开发 19. Hadoop在yahoo的应用附录A：云计算在线监测平台附录B： Hadoop安装、运行、使用说明附录C：使用DistributedCache的MapReduce程序附录D：使用ChainMapper和ChainReducer的MapReduce程序

java大数据培训学校全套教材系列课程由1000集视频构成，基本就是1）时下流行的java培训学校主流内部教材，2）和市面上培训学校的通行的课程体系几乎一样。所以这套课程都能自己学下来，等于上了培训学校一次，完全可以找个java工程师的工作了。通过学习MapReduce程序，如何输入文件是两个文件，Partitioner的用法，Combiner的用法，自定义对象，排序sort，topN问题，全局变量，剖析源码单步调试详解MapReduce分组group遍历，reduce当中的cleanup的用法，自定义输出：多文件输出MultipleOutputs，DBOutputFormat把MapReduce结果输出到mysql中，MapReduce实现join算法，map端做join，寻找用户间的共同好友等，围绕着Mapreduce知识点的相关14个问题，学过后可以基本胜任MapReduce编程工作。课程特色：专业细致，偏案例，理论强。课程软件使用：必须下载 2018 eclipse 4.7 oxygen版本重要声明：如果感觉噪音大，可以选择不用耳机，加音箱或用电脑原声

一.背景 Hadoop2.0开始MapReduce作业支持链式处理，类似于富士康生产苹果手机的流水线，每一个阶段都有特定的任务要处理，比如提供原配件——>组装——打印出厂日期，等等。通过这样进一步的分工，从而提高了生成效率，我们Hadoop中的链式MapReduce也是如此，这些Mapper可以像水流一样，一级一级向后处理，有点类似于Linux的管道。前一个Mapper的输出结果直接可以作...

一：背景 Hadoop2.0开始MapReduce作业支持链式处理，类似于富士康生产苹果手机的流水线，每一个阶段都有特定的任务要处理，比如提供原配件——>组装——打印出厂日期，等等。通过这样进一步的分工，从而提高了生成效率，我们Hadoop中的链式MapReduce也是如此，这些Mapper可以像水流一样，一级一级向后处理，有点类似于Linux的管道。前一个Mapper的输出结果直接可以作为下一

50,527

社区成员

85,606

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章