标签：Container AM Hadoop YARN 调度 学习 应用程序 RM

YARN是hadoop的资源调度平台。

1. YARN的基本架构

YARN由以下几个组件组成。Resource Manager、Node Manager、Application Master和Container组成。

1. Resource Manager ：RM是一个全局的资源管理器。负责整个系统的资源管理和任务调度。核心组件由两个。调度器Scheduler 和 应用任务管理器ASM（Applications Master）

Scheduler 负责将资源分配给应用程序。ASM 负责启动、监控AM（Application Master）

1. Node Manager:
   1. 周期型的向RM汇报节点资源情况和Container运行状态。
   2. 接收AM的命令。启动、停止Container。
2. Application Master:用户提交每个任务都包含一个AM。AM的功能主要由：
   1. 切分数据。
   2. 为应用程序向RM申请资源（container）
   3. 与NM通信，启动、停止任务
   4. 监控任务运行状态。提供容错机制。

1. Container:

Container是资源的抽象（内存和CPU）。

2. 作业提交流程

用户向YARN提交任务后，YARN分为两个阶段运行该应用程序。启动AM和AM创建应用程序、为任务申请资源、监控任务执行过程直到任务完成。

创建AM

1) 客户端向YARN提交应用程序，并请求RM分配资源

2) RM开启一个Container，并在上面运行AM。

AM创建应用程序

3) AM向RM中的ASM注册。

4) AM向RM申请和获取资源。

5) AM获得资源后，将和资源对应的NM建立连接。

6) 启动任务，对应的Container会在AM处注册。

7) 各个任务向AM周期型汇报执行情况。

8) AM运行完成后向RM注销并关闭自己

3. 【需要完善】资源调度器

HADOOP的作业调度器有三种。先进先出调度器FIFO，容量调度器（capacity scheduler）和公平调度器（fair scheduler）。默认为容量调度器。

(1) FIFO ：队列保存job，先来的任务先执行。

(2) Capacity Scheduler：

支持多个队列，每个队列采用先进先出调度策略。

(3) Fair Scheduler：

标签：Container,AM,Hadoop,YARN,调度,学习,应用程序,RM
来源： https://www.cnblogs.com/maopneo/p/13947999.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。