如何设置增大hadoop里mapreduce任务的并发数？

[yuanshuang]

最近在搞hadoop，部署hadoop的设备性能很好，我们会同时下发多个mapreduce任务。
但在默认情况下一次性下多个mapreduce任务，8088页面显示只会同时运行2个任务（处于running状态），其他任务都处于accepted状态等待，如果运行中的任务卡死，会导致整个任务流水线都卡死了。按主机性能来说肯定不止一次只能运行2个任务，所以想通过设置加大同时运行任务的数量。不过找了半天都没搞定，望高手指教一下！！！

怀疑不是这么简单的有个设置直接设置并发数量，而是和内存，vcore的数量有关。
但vcore和mem数量我怎么设置都不生效，不管设置什么都是：mem avail 8gb，vcore avail 8个

强调一下，是设置mapreduce任务的并发数，而不是每个任务里map和reduce的并发数。

[过把火]

导致每次只有两个mr作业运行的原因可能是其他排队任务的AM分配的NM刚好是之前两个作业AM所在的节点，而AM container是需要占内存和Vcore的，所以其他作业会等待排队。 仅仅是个人思考，还需讨论 另外，HiBench提供并行作业的方法，可以同时提交wordcount、Terasort、bayes等用例。hadoop自带jar包里记得有一个用例是用来测试hadoop集群性能的，那个用例就是通过并发执行作业来测试集群性能的

[海会圣贤]

试试调整一下JVM的参数

[yuanshuang]

我修改了一下配置。 调度策略 自己搞定了。配置成公平调度器，默认的不行 <property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property>

[泪三国云无痕]

引用 3 楼 yuanshuang 的回复:

我修改了一下配置。 调度策略 自己搞定了。配置成公平调度器，默认的不行 <property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property>

果然有用,谢谢博主

[struggle@徐磊]

<property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property> 楼主这个公平调度器是在hadoop中的哪个配置文件中，配置的？

[java学一生]

萌新 刚接触 同问一下

[java学一生]

引用 5 楼 struggle@徐磊 的回复:

<property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property> 楼主这个公平调度器是在hadoop中的哪个配置文件中，配置的？

顺便问一哈 同学解决这个问题了吗 还有多个任务运行指令是啥