Hadoop修改mapred-site.xml配置文件中关于同时运行Map数量的参数，不起作用啊为什么

bmbc123 2015-12-10 01:13:33

想控制一个节点同时运行的map数量，修改mapreduce.job.maps、mapreduce.tasktracker.map.tasks.maximum、mapreduce.jobtracker.maxtasks.perjob甚至mapreduce.jobtracker.taskscheduler.maxrunningtasks.perjob这个我都尝试修改过,但是在hadoop监控界面查看，似乎都不起任何作用这是为什么，始终都是6个Map任务同时执行。

这个问题困扰了好久。。求大神告知。。。。
这个截图是1个节点试过2个节点，貌似也是这种情况。

...全文

829 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

姥爷家的小胡同 2017-06-27

打赏
举报

回复

可能需要重启集群

bmbc123 2015-12-10

打赏
举报

回复

按理说mapreduce.tasktracker.map.tasks.maximum，默认值为2，应该只有2个map同时执行才对，为什么不管怎么改都是6个

Hadoop源码包含mapred

hadoop-mapred-site.xml配置文件详解 mapred-site.xml配置文件简介 MapReduce配置相关 mapred-site.xml配置 name value description mapreduce.jobtracker.jobhistory.location If job tracker is static...

下面介绍一下mapred-site.xml配置文件的配置过程：增加mapreduce配置（使用yarn框架、jobhistory使用地址以及web地址） <configuration> <property> <name>mapreduce.framework.name</name...

配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件。上网找的配置可能因为各个hadoop版本不同，导致无法生效，这里需要经验积累。参数繁多，不用过多纠结每个参数的含义，先照搬...

map task在执行到5%的时候就开始为reduce进行申请资源，开始执行reduce操作，reduce可以开始进行拷贝map结果数据和做reduce shuffle操作 -->-- 默认情况下，reduce是全部从磁盘开始读处理数据，如果这个参数大于0，...

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章