ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

大数据中间件之Azkaban

2021-12-11 14:32:02  阅读:179  来源: 互联网

标签:Web 中间件 模式 Server mode Oozie Azkaban 数据


Azkaban

介绍

Azkaban是在LinkedIn(领英)上创建的用于运行Hadoop作业的批处理工作流作业调度程序

Azkaban特征

分布式多执行器

MySQL重试

友好的用户界面

有条件的工作流程

数据触发

高安全性

支持插件扩展,从Web UI到作业执行

完整的作者管理系统

调度工具对比

Oozie

  • 重量级的任务调度系统,功能全面,但是部署及配置会比较麻烦,从 crontab 到Oozie 上手会有一定难度

    • Azkaban

Azkaban

  • Azkaban 是介于 oozie 和 Crontab 之间的工具,但是安全性上不如 Oozie,同时如果出现失败情况,Azkaban会丢失所有的工作流,Oozie则可以继续运行

Azkaban架构

mysql服务器: 存储元数据,如项目名称、项目描述、项目权限、任务状态、SLA规则等

AzkabanWebServer: 对外提供web服务,使用户可以通过web页面管理。职责包括项目管理、权限授权、任务调度、监控executor。

AzkabanExecutorServer:负责具体的工作流的提交、执行

Azkaban部署模式

solo server mode(单机)

  • 该模式中webServer和executorServer运行在同一个进程中,进程名是AzkabanSingleServer。使用自带的H2数据库。这种模式包含Azkaban的所有特性,但一般用来学习和测试。

two-server mode(远程)

  • 该模式使用MySQL数据库, Web Server和Executor Server运行在不同的进程中

multiple-executor mode(集群或者分布式)

  • 该模式使用MySQL数据库, Web Server和Executor Server运行在不同的机器中。且有多个Executor Server。该模式适用于大规模应用。

标签:Web,中间件,模式,Server,mode,Oozie,Azkaban,数据
来源: https://blog.csdn.net/weixin_46074059/article/details/121872949

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有