标签：1.1 Taier Flink 任务 开源 版本 SQL
2022 年 5 月 8 日，Taier 1.1 版本正式发布！
本次版本更新对 Flink 的支持升级到 Flink1.12，支持多种流类型任务，新版本的使用文档已在社区中推送，大家可以随时下载查阅。
github 地址：
https://github.com/DTStack/Taier
gitee 地址：
https://gitee.com/dtstack_dev_0/taier
Taier 1.1 版本介绍
Taier 是一个分布式可视化的 DAG 任务调度系统，是数栈数据中台整体架构的重要枢纽，负责调度日常庞大的任务量。
它旨在降低 ETL 开发成本，提高大数据平台稳定性，让大数据开发人员可以在 Taier 直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。
Taier1.0 版本于 2022 年 2 月发布，在 1.0 版本发布的第二天，1.1 版本的迭代就已提上日程，并于昨日正式发布。
本次版本更新，着重解决了 Taier 的适配性问题：对 Flink 的支持升级到 1.12；Taier 中的 Spark SQL 和 Flink SQL 两个组件也实现了支持用户在任务中自定义函数，明显让 Taier 的延展性有了更好的发挥；新增了许多例如 Hive SQL 类型任务、实时任务运维等强大功能。
这次版本更新对 Taier 的固有优势进行了巩固，同时也强化并改善了用户体验，进一步精细化提升产品性能。
Taier 1.1 功能详解
01 对 Flink 版本支持升级到 1.12
Taier 作为一个分布式可视化的 DAG 任务调度系统，采用 ChunJun 作为分布式数据同步工具。1.1 版本将 Flink 版本升级到 1.12 ，支持 ChunJun 1.12 版本中新增的 transformer 算子等以及所有 Flink 原生语法及 Function
02 数据同步支持脚本模式、增量同步
数据同步任务除向导模式外，1.1 版本新增数据同步脚本模式。脚本模式通过 json 的方式配置，无需依赖 datasourcex 的支持的数据源，直接通过 json 配置的方式提交任务，脚本模式的 json 格式无缝兼容 ChunJun 的数据格式，用户可以通过脚本模式调试各类数据源的数据同步。
03 新增 Hive SQL
Apache Hive 是一个构建于 Hadoop 顶层的数据仓库，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行。Taier1.1 版本新增 Hive SQL ，支持对接 Hive 的不同版本 。
04 新增多种实时类型任务
新增实时采集任务，支持将 MySQL、Oracle 的数据同步至 Kafka。
新增 Flink SQL 任务，通过标准 SQL 语义的开发帮助快速完成数据任务的配置工作。
05 新增实时任务运维
可通过实时运维中心查看实时任务的相关指标信息以及任务的详细日志信息。
06 支持用户自定义函数
用户自定义函数（User Defined Function，简称 UDF），是用户除了使用系统函数外，自行创建的函数，用于满足个性化的计算需求。自定义函数在使用上与普通的系统函数类似。
目前 Taier1.1 版本 Spark SQL 和 Flink SQL 任务均支持自定义函数。
07 全新暗黑主题上线
Taier 开发界面暗黑主题上线，提供多种主题切换，用户可自行选择。Taier 1.1 可支持用户自由选择 Dark Default 主题或 Light Default 主题等等界面风格，用户体验显著提升。
未来规划
Taier 作为一个新开源的项目，我们的迭代和更新一直在进行中，后续 Taier 将在扩展性、用户自主性方向上继续探索扩展，比如我们正在努力让用户可以基于 Taier 去自定义开发自己需要的类型任务等等。
Taier 的每一次进步都离不开社区开发者们的帮助和建议，希望大家保持关注，和 Taier 一起继续前进，不断攀登新高峰！
标签：1.1,Taier,Flink,任务,开源,版本,SQL 来源： https://www.cnblogs.com/DTinsight/p/16253086.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。