hadoop排序问题

[Embedded宋小平]

对1T数据量进行排序，在reduce阶段，使用top查看了一下CPU，发现


有部分reduce的CPU基本空闲，感觉不太正常，不是应该忙于拷贝和排序的吗？
求助为什么会出现这种现象。。。。

[不烦人的阙]

这种是出现数据倾斜

[chongchongone]

可以自定义Partitioner,根据数据的特点，进行自定义分区，会适当调整CPU的合理使用。