标签：Capacity 调度 queue 公平 Scheduler pool

一、调度器简介

Fair Scheduler称为公平调度器，是Apache YARN内置的调度器。公平调度器主要目标是实现YARN上运行的应用能公平的分配到资源，其中各个队列使用的资源根据设置的权重（weight）来实现资源的公平分配。
Capacity Scheduler称为容量调度器，是Apache YARN内置的调度器，建议YARN使用Capacity Scheduler作为默认调度器。Capacity Scheduler是一种多租户、分层级的资源调度器，调度器中的子队列是通过设置Capacity来划分各个子队列的使用情况。

两种调度器区别：

分配方式：

（1）公平调度是以pool为单位分配任务slots的

（2）容量调度以queue的方式分配tasktracker的

资源利用方式：

（1）公平调度每个pool内部可以是以FIFO方式调度也可以是公平方式调度

（2）容量调度每个queue内部只能是以FIFO方式调度，这是公平调度和容量调度的一个区别

是否支持抢占：

（1）公平调度pool内部是支持抢占的，就是可以为某个pool（通常是生产上的用户）分配最低的任务slot，当这个pool得不到最低的资源的时候他就会kill其他的job的task以使自己获得最低的资源，这并不会引起其他的job的失败，因为job也是master-slaver的结构，也是容错的。

（2）容量调度queue内部可以设置优先级但是并不支持抢占

二、腾讯云公平调度器切换为容量调度器

因yarn上有任务运行，需要先为任务提前指定运行队列。

1、现有任务指定队列

hive：set mapred.job.queue.name=sailing;

spark-submit：--queue u_strategy

三、容量调度器资源配置

标签：Capacity,调度,queue,公平,Scheduler,pool
来源： https://www.cnblogs.com/robots2/p/16694367.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。