标签：器多 capacity 17 队列 09 yarn hive scheduler root

Hadoop中Yarn容量资源调度器多队列提交案例

1.需求

需求1：default队列占总内存的40%，最大资源容量占总资源的60%，hive队列占总内存的60%，最大资源容量占总资源的80%。

2.配置多队列的容量调度器

1）在capacity-scheduler.xml中的配置如下：
(1)修改如下配置：

<!-- 指定多队列，增加hive队列 -->
<property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>default,hive</value>
    <description>
      The queues at the this level (root is the root queue).
    </description>
</property>
<!-- 降低default队列资源额定容量为40%，默认100% -->
<property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>40</value>
</property>
<!-- 降低default队列资源最大容量为60%，默认100% -->
<property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>60</value>
</property>

（2）为新队列添加必要属性：

<!-- 指定hive队列的资源额定容量 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.capacity</name>
    <value>60</value>
</property>

<!-- 用户最多可以使用队列多少资源，1表示 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.user-limit-factor</name>
    <value>1</value>
</property>

<!-- 指定hive队列的资源最大容量 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-capacity</name>
    <value>80</value>
</property>

<!-- 启动hive队列 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.state</name>
    <value>RUNNING</value>
</property>
<!-- 哪些用户有权向队列提交作业 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name>
    <value>*</value>
</property>

<!-- 哪些用户有权操作队列，管理员权限（查看/杀死） -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name>
    <value>*</value>
</property>

<!-- 哪些用户有权配置提交任务优先级 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</name>
    <value>*</value>
</property>

<!-- 任务的超时时间设置：yarn application -appId appId -updateLifetime Timeout
参考资料：https://blog.cloudera.com/enforcing-application-lifetime-slas-yarn/ -->

<!-- 如果application指定了超时时间，则提交到该队列的application能够指定的最大超时时间不能超过该值。 
-->
<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-application-lifetime</name>
    <value>-1</value>
</property>

<!-- 如果application没指定超时时间，则用default-application-lifetime作为默认值 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.default-application-lifetime</name>
    <value>-1</value>
</property>

2)分发配置文件
3）重启Yarn或者执行 yarn rmadmin-refreshQueues 刷新队列，就可以看到两条队列：

yarn rmadmin-refreshQueues

3.向hive队列提交任务

1)hadoop jar 的方式

hadoop jar share/hadoop/mepreduce/hadoop-mepreduce-examples-3.1.3.jar wordcount -Dmepreduce.job.queuename=hive /input /output

-D表示运行时改变参数值

2)打jar包的方式
默认任务提交都是提交到default队列的。如果希望其他队列提交任务，需要在Driver中声明：

public class WcDriver {
	public static void main(String[ ]	args) throws IOException,ClassNotFoundException, InterruptedException {
		Configuration conf = new Configuration();
		conf.set("mapredure.job.queuename","hive");
		//1. 获取一个Job实例
        Job job = Job.getInstance(conf);
        。。。 。。。
        //6. 提交Job
        boolean b = job.waitForCompletion(true);
        System.exit(b ? 0 : 1);
    }
}

这样这个任务在提交时，就会提交到hive队列：

标签：器多,capacity,17,队列,09,yarn,hive,scheduler,root
来源： https://blog.csdn.net/Huc673619/article/details/120356116

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。