Hadoop 关闭 推测执行 的办法

Flycutter 2011-12-29 04:38:59
RT,最近在运行任务的时候遇到了这个问题。在集群上最好是关闭掉Hadoop的推测执行,要么对集群的性能影响是比较大的。
现在问题的关键是在mapred-site.xml中添加了
<property>
<name>mapred.map.tasks.speculative.execution</name>
<value>false</value>
<description>If true, then multiple instances of some map tasks
may be executed in parallel.</description>
</property>

<property>
<name>mapred.reduce.tasks.speculative.execution</name>
<value>false</value>
<description>If true, then multiple instances of some reduce tasks
may be executed in parallel.</description>
</property>
之后,重启集群,然后重新运行job的时候,还是会出现一个任务attempt两次的情况,也就是推测执行并没有关闭,不知道是什么原因。
然后hadoop的版本是:hadoop-0.20.2+737
...全文
581 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
快乐程序员 2013-06-28
  • 打赏
  • 举报
回复
加final=true,不然客户端是可以修改并覆盖这个参数的。

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧