MapReduce对相同key值的value进行聚集

[aomika]

<k1,v1>,<k1,v2> ==> <k1,<v1,v2>>
MapReduce中对相同key值的value进行聚集的过程发生在 Map 端还是 Reduce 端呢
我想找到这个操作的代码在哪

另外这个操作和 Combiner 有什么关系吗

[撸大湿]

Reduce前会做一次 如果有Combiner Combiner 前也会做一次

[SoftLy]

Map结束后会有一个shuffle的过程，就是对key处理一次 如果setCombiner,那么在map结束后会对局部结果做一次处理

[hsb1132]

map之后，Combiner 之后，reduce之后

[xuanxufeng]

不多说，给你看段代码： job.setMapperClass(TestMapper.class); job.setCombinerClass(TestReducer.class); job.setReducerClass(TestReducer.class); 这里combiner和Reducer用了相同的代码，所以说在 combiner阶段和Reduce阶段都进行了合并。