20,808
社区成员
发帖
与我相关
我的任务
分享关于reduce的小问题
在mapreduce中，我设置reduce任务为1个，设置mapreduce.task.io.sort.factor=10，我的map输出有两个文件，因为小于合并因子，所以会把两个文件直接输入给reduce函数处理（不会合并为一个文件），那问题是：数据在reduce函数处理完之后将做什么啊，如何保证全局有序呢？是不是也和map端一样，reduce缓存满然后溢写到磁盘文件，最后所有的文件再归并排序
...全文
请发表友善的回复…
发表回复
qq_31325191 2017-01-10
- 打赏
- 举报
好了，结贴了，多谢
西红小柿 2017-01-05
- 打赏
- 举报
reduce端会有这么个过程、内存溢写到磁盘，然后做merge操作。合并的过程会按照默认方式排序
