reduce执行很慢。
分析一个400多M的数据,如果正常的执行,然后把执行的结果放到hive里,很快,效果还比较满意。从HDFS上可看到结果文件有300多M。
由于需求得要把结果数据放到mysql数据库里,这300多M数据大概有个300W条,于是就对代码进行了改写,用到了Writable,DBWritable,然后就用改写后的代码去分析数据,同样map执行速度还是很满意的,当在执行reduce的时候,最开始速度也还行,当执行到70%之后,就相当慢了,基本上3分钟走1%,后边越来越慢,有时候还报内存不够,然后把配置文件里检测内存的配置给去掉了,不让它检测内存,虽然能正常跑完数据,99%到100%这个过程等了2个小时!大概具体情况就是这样的了,有没有大神知道这到底问题出现在那里,求指教!