hadoop2.7中关于container的疑问

qq_31325191 2016-12-27 10:59:21
请教个问题:我的hadoop集群有两个datanode,每个datanode配置为500cpu,512内存。关于yarn中的containner配置我都使用的是默认值,那是不是一个datanode在同一时间只能有一个container运行任务?我如果设置10个reduce任务,那需要10个container,在一个datanode节点上第一个reducer运行完然后再运行第二个、第三个。。。。,是这样吗?感觉实际情况和我理解的有偏差哦,截图如下:

运行结果显示,我同时运行了多个reduce任务,那就需要多个container,可是问题是我没有这么多提供containner的资源啊?这是为什么?
...全文
618 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧