标签：总结 知识点 队列 DolphinScheduler Worker 用户 任务 节点

DolphinScheduler简介

Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

DolphinScheduler核心架构

 

 

DolphinScheduler的主要角色如下：

MasterServer采用分布式无中心设计理念，MasterServer主要负责 DAG 任务切分、任务提交、任务监控，并同时监听其它MasterServer和WorkerServer的健康状态。

WorkerServer也采用分布式无中心设计理念，WorkerServer主要负责任务的执行和提供日志服务。

ZooKeeper服务，系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。

Alert服务，提供告警相关服务。

API接口层，主要负责处理前端UI层的请求。

UI，系统的前端页面，提供系统的各种可视化操作界面。

DolphinScheduler的使用

安全中心

队列管理

Yarn调度器的资源队列。此处创建出的队列，可供后续任务进行选择。

注意：在DolphinScheduler中创建队列，并不会影响到Yarn调度器的队列配置。

租户管理

租户对应的是Linux系统用户，是Worker执行任务使用的用户。如果Worker所在节点没有这个用户，Worker会在执行任务时创建这个用户。

租户编码：对应Worker执行任务所使用的用户名。

租户名称：用于在DolphinScheduler中显示。

队列：该租户提交Yarn任务时的默认队列。

用户管理

用户对应的是DolphinScheduler的用户，用于登录DolphinScheduler。

用户分管理员用户和普通用户。默认情况下，管理员只有授权和用户管理等权限，而普通用户只有创建项目，定义工作流、执行工作流等权限。

告警组管理

告警组可包含多名用户，用于指定告警发送对象。

Worker分组管理

在任务执行时，可以将任务分配给指定Worker组，最终由该组中的Worker节点执行该任务。默认情况下，所有Worker均位于default组。

令牌管理

令牌用于通过接口访问DolphinScheduler各项服务时的用户验证。普通用户通过UI页面访问各项服务时，无需使用令牌。若需将DolphinScheduler与第三方服务进行集成，则需调用其接口，此时需使用令牌。

项目管理

工作流定义

用于定义工作流，包括工作流各节点任务详情及各节点依赖关系等。

工作流实例

工作流每执行一次就会生成一个工作流示例。此处可查看正在运行的工作流以及已经完成的工作流。

任务实例

工作流中的一个节点任务，每执行一次就会生成一个任务实例。此处可用于查看正在执行的节点任务以及已经完成的节点任务。

标签：总结,知识点,队列,DolphinScheduler,Worker,用户,任务,节点
来源： https://www.cnblogs.com/jpppp/p/16277246.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。