YARN容量调度器队列的用户资源限制问题

牛肉圆粉不加葱 2014-10-25 12:09:58

请问容量调度器是可为队列中的不同用户设置不同的资源上下限还是该队列中的所有用户上下限必须相同？

...全文

1278 6 打赏收藏转发到动态举报

写回复

用AI写文章

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

牛肉圆粉不加葱 2014-10-27

打赏
举报

引用 5 楼 sky_walker85 的回复:

[quote=引用 4 楼 guaren0118 的回复:] [quote=引用 2 楼 sky_walker85 的回复:] 相同队列中的所有用户的下限是相同的，但上限根据队列中用户的个数计算，比如队列中有4个用户，则每个用户的上限不得超过25%。如果100/用户个数 <= 用户下限，那么每个用户不得超过该下限。下限由参数yarn.scheduler.capacity.<queue-path>.minimum-user-limit-percent设置

这种说法不对吧 [/quote] 哪里不对呢，官方这么定义的[/quote] 不好意思查了下你说的是对的

牛肉圆粉不加葱 2014-10-26

打赏
举报

引用 2 楼 sky_walker85 的回复:

相同队列中的所有用户的下限是相同的，但上限根据队列中用户的个数计算，比如队列中有4个用户，则每个用户的上限不得超过25%。如果100/用户个数 <= 用户下限，那么每个用户不得超过该下限。下限由参数yarn.scheduler.capacity.<queue-path>.minimum-user-limit-percent设置

这种说法不对吧

skyWalker_ONLY 2014-10-26

打赏
举报

引用 4 楼 guaren0118 的回复:

[quote=引用 2 楼 sky_walker85 的回复:] 相同队列中的所有用户的下限是相同的，但上限根据队列中用户的个数计算，比如队列中有4个用户，则每个用户的上限不得超过25%。如果100/用户个数 <= 用户下限，那么每个用户不得超过该下限。下限由参数yarn.scheduler.capacity.<queue-path>.minimum-user-limit-percent设置

这种说法不对吧 [/quote] 哪里不对呢，官方这么定义的

人生偌只如初见 2014-10-25

打赏
举报

楼主可以看看以下几篇文章： http://dongxicheng.org/mapreduce/hadoop-0-21-0-fair-scheduler/ http://dongxicheng.org/mapreduce/hadoop-capacity-scheduler/ http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-capacity-scheduler/

skyWalker_ONLY 2014-10-25

打赏
举报

相同队列中的所有用户的下限是相同的，但上限根据队列中用户的个数计算，比如队列中有4个用户，则每个用户的上限不得超过25%。如果100/用户个数 <= 用户下限，那么每个用户不得超过该下限。下限由参数yarn.scheduler.capacity.<queue-path>.minimum-user-limit-percent设置

人生偌只如初见 2014-10-25