对于Yarn中Container带来的困扰?

yts2dx 2014-12-03 10:28:35
Yarn中,作业请求的资源通过container表示,它与slot的区别是一个动态的概念,那么问题来了,在Yarn中资源使用量这个概念是如果描述的,例如:一个作业队列可以使用的资源的最大值和最小值如何表示,资源抢占模型中,其资源量又是如何衡量的
...全文
582 8 打赏 收藏 转发到动态 举报
写回复
用AI写文章
8 条回复
切换为时间正序
请发表友善的回复…
发表回复
yts2dx 2014-12-07
  • 打赏
  • 举报
回复
引用 6 楼 wulinshishen 的回复:
YARN默认支持的是内存的资源调度
那不需要考虑CPU吗,对于cpu密集型的作业来说,如何合理的进行资源分配?
yts2dx 2014-12-07
  • 打赏
  • 举报
回复
引用 5 楼 sky_walker85 的回复:
[quote=引用 3 楼 yts2dx 的回复:] [quote=引用 1 楼 sky_walker85 的回复:] 参考http://blog.csdn.net/skywalker_only/article/details/41351147
请问,为队列限制资源时,需要设置队列可用资源的百分比,那么这个可用资源是如果表示的?内存、cpu或是其他多维表示方式[/quote] 目前来说容量配置中的可用资源主要指的是内存这种资源[/quote] 但是如果仅考虑内存的话,cpu密集型的作业在进行资源分配时,不会是会出现问题?
  • 打赏
  • 举报
回复
可以看下Yarn的Resource Manager 和 Node Manager 相关 http://blog.csdn.net/fighting_one_piece/article/details/40538605 http://blog.csdn.net/fighting_one_piece/article/details/40538695 http://dongxicheng.org/mapreduce/hadoop-0-21-0-fair-scheduler/ http://dongxicheng.org/mapreduce/hadoop-capacity-scheduler/
  • 打赏
  • 举报
回复
YARN默认支持的是内存的资源调度
skyWalker_ONLY 2014-12-03
  • 打赏
  • 举报
回复
引用 3 楼 yts2dx 的回复:
[quote=引用 1 楼 sky_walker85 的回复:] 参考http://blog.csdn.net/skywalker_only/article/details/41351147
请问,为队列限制资源时,需要设置队列可用资源的百分比,那么这个可用资源是如果表示的?内存、cpu或是其他多维表示方式[/quote] 目前来说容量配置中的可用资源主要指的是内存这种资源
yts2dx 2014-12-03
  • 打赏
  • 举报
回复
引用 2 楼 wulinshishen 的回复:
可以看下Yarn的Resource Manager 和 Node Manager 相关 http://blog.csdn.net/fighting_one_piece/article/details/40538605 http://blog.csdn.net/fighting_one_piece/article/details/40538695 http://dongxicheng.org/mapreduce/hadoop-0-21-0-fair-scheduler/ http://dongxicheng.org/mapreduce/hadoop-capacity-scheduler/
请问,为队列限制资源时,需要设置队列可用资源的百分比,那么这个可用资源是如果表示的?内存、cpu或是其他多维表示方式
yts2dx 2014-12-03
  • 打赏
  • 举报
回复
引用 1 楼 sky_walker85 的回复:
参考http://blog.csdn.net/skywalker_only/article/details/41351147
请问,为队列限制资源时,需要设置队列可用资源的百分比,那么这个可用资源是如果表示的?内存、cpu或是其他多维表示方式

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧