MapReduce只需要一个输出文件时reduce个数问题。

[作业本]

我需要处理一个文件，文件中存放了一个浮点数矩阵，需要对文件中每一个浮点数进行计算，转换成另一个浮点数。输出结果是一个新的矩阵。

我用map将矩阵文件拆分，每个map任务处理一个矩阵的一部分。而输出的时候由于我只需要一个输出文件，所以这个时候我设置reduce个数为1. 但是，你知道，reduce个数为1的时候效率很低的，每个map任务都要把数据传送给这个reduce，体现不出分布式处理的优势了。怎么办？

而如果把reduce个数设置为多个，那么最终我的输出还是需要一个文件，如何合并reduce输出的多个文件为一个？

或者，这样的问题有没有其他方法解决?

[leetao881212]

一年多没用这个了。
但是我记得，当时输出文件都是在hdfs文件系统下，每个reduce节点输出的结果都是输出结果的一部分，可以使用hdfs的merge命令将这些文件合并起来。

如果你reduce就是直接放在一个计算节点上做的话，那肯定就只能比较低效的运行了。