Hadoop 关闭 推测执行 的办法
RT,最近在运行任务的时候遇到了这个问题。在集群上最好是关闭掉Hadoop的推测执行,要么对集群的性能影响是比较大的。
现在问题的关键是在mapred-site.xml中添加了
<property>
<name>mapred.map.tasks.speculative.execution</name>
<value>false</value>
<description>If true, then multiple instances of some map tasks
may be executed in parallel.</description>
</property>
<property>
<name>mapred.reduce.tasks.speculative.execution</name>
<value>false</value>
<description>If true, then multiple instances of some reduce tasks
may be executed in parallel.</description>
</property>
之后,重启集群,然后重新运行job的时候,还是会出现一个任务attempt两次的情况,也就是推测执行并没有关闭,不知道是什么原因。
然后hadoop的版本是:hadoop-0.20.2+737