标签：数据 

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！

github开源项目：

gitee开源项目：

随着数智化时代的到来，企业需要汇聚各业务板块数据，提供一个强大的中间层为高频多变的业务场景提供支撑。基于此类需求，“数据中台”应运而生，将数据提炼为数据资产，转换成业务需要的数据「血液」。

数据中台的建设与运营，通常包含如下活动：数据汇聚、数据加工与提炼、对外提供数据服务这3部分。其中的数据汇聚、数据加工与提炼能力，是由作为数据中台建设基座的离线开发平台提供的。

一、应用场景

例如，某服装企业需要统计最近3个月在全国不同城市中，不同款式的服装的销量情况/库存情况，用于指导下一步的销售活动和款式设计，这些数据需要每天更新，这就是典型的离线计算场景。为了完成上述流程，数据部门需要进行如下处理动作：

• 将最近3个月的销售数据、库存数据从业务系统中抽取出来，要支持每天的增量抽取； 结合统计需求，编写SQL进行统计； 数据每天更新，需要以天为周期，触发数据抽取、SQL统计的脚本，每天进行数据更新； 监控任务的运行情况，当发生异常情况时，需要进行排错、重刷历史数据等操作；

为解决以上场景的问题，需要在数据采集、存储、加工等方面进行各种选型对比，通常可归类为以下2类：

1、基于MySQL、Greenplum等关系型或MPP类数据库：

• 数据采集：可采用开源的Kettle、DataX等组件，配合shell脚本实现数据抽取； 数据开发：本地文本编辑器、Navicat等工具，配合Shell脚本实现数据开发+周期调度； 数据运维：人工观察结果数据产出，没有成熟的运维工具，通常都是业务方发现数据问题反馈给技术人员，响应滞后； 集群运维：集群监控、告警、扩缩容均手动进行。

2、基于Hadoop体系的技术方案

• Hadoop体系通常会采用HDFS+YARN作为基座，再配合Hive、Spark、Impala等引擎作为扩展； 数据采集、开发、调度，均有多种可选，例如Sqoop、Hue、Oozie/Azkaban/AirFlow等，再配合Shell进行各类组件的打通与配置管理 集群运维：可采用开源的Cloudera Manager等工具。

3、以上2类场景存在以下几种问题：

• 采集、开发、调度、运维的工具都比较原始，由各种开源组件拼凑组合形成，没有统一高效的管理方式，适用于小规模团队，无法满足大规模、团队协作化的数据中台建设； 在数据采集方面，DataX、Kettle等组件一般都是单点使用，无法满足大吞吐量、高并发的数据同步场景； 在数据开发、任务调度方面，通常只能采用文本编辑器+Navicat+Shell的原始方案，数据开发体验较差，在系统参数、调度打通、函数管理、元数据查看等方面存在各种体验问题； 调度引擎与任务运维方面，开源的Azkaban、AirFlow虽然支持基本的调度逻辑，但与开发环节彼此割裂，没有实现无缝打通。在任务运维方面，只有基本的状态监控，在重刷历史数据、任务异常处理、告警配置等方面均有所欠缺； 在数据管理方面，开源的Hue只有基本的元数据查看，在数据权限、生命周期、元数据扩展等方面均难以满足。

二、BatchWorks主要功能

BatchWorks提供的各项功能，完整覆盖上述场景中的各种需求，包含的功能模块如下：

1、数据同步：

• 分布式系统架构：基于自研分布式同步引擎（FlinkX），用于在多种异构数据源之间进行数据同步，具有高吞吐量、高稳定性的特点； 丰富的数据源支持：支持关系型数据库、半结构化存储、大数据存储、分析性数据库等20余种不同的数据源； 可视化配置：主要包括同步任务选择源表、目标表、配置字段映射、配置同步速度等步骤，2分钟即可完成配置； 断点续传：系统自动记录每次的同步点位，下一周期运行时，自动从上次的读取位置继续同步，既可以减轻源库的压力，又可以保障同步的数据无遗漏、无重复； 整库同步：快速、批量配置大量同步任务，节省大量初始化精力。 脏数据管理：在读取、写入阶段发生异常的数据，系统可将这部分数据保存下来，便于用户及时排查脏数据问题。

2、数据开发：

• 丰富的任务类型：支持SparkSQL、HiveSQL、Python、Shell等10余种不同的任务类型，满足不同场景下的数据处理需求； 丰富的系统参数：内置多个系统参数，可根据需要指定自定义系统参数，支持常量、变量，可指定丰富的时间格式和时间计算模式； 优秀的开发体验：支持代码高亮、关键字/表名/字段名智能提示、语法检测、编辑器主题、快捷键等功能，为用户提供优秀的编码体验； 本地文件导入：支持本地csv、txt文件导入至数据表，用于临时性数据分析； 函数管理：支持Hive、Spark等计算引擎的函数查看、UDF函数的注册。

3、调度引擎：

• 基于自研分布式调度引擎，满足任务的周期性、依赖性调度，支持百万级别任务调度； 系统可智能识别当前任务的代码与依赖信息，并自动推荐上游任务； 根据用户的调度配置，智能识别超出有效期的任务，自动取消运行，节约计算资源。

4、运维中心：

• 自动监控并统计每日跑批进度、异常情况等信息，汇总易出错任务，协助用户排查代码质量、平台运行情况等问题； 实时监控实例运行情况，进行查看日志、重跑、终止、恢复调度等操作； 通过指定时间范围，快速重刷历史数据，操作简单、便捷； 可根据失败、超时等多种条件触发告警规则，通过短信、邮件等方式将异常信息发送给指定人员。

5、安全保障：

BatchWorks采用多种方式保障数据安全和功能操作的安全，主要涵盖集群安全、数据安全和功能安全3部分：

• 集群安全：可对接开源Kerberos组件，保障平台安全访问。 数据安全：支持用户跨项目权限申请，可指定需要的具体操作内容和字段信息，经管理员审批通过后可访问。 功能安全：内置管理员等多种角色，不同的角色有不同的操作权限，保障功能安全。

三、产品优势

1、全生命周期覆盖：

覆盖数据采集、数据处理、调度依赖、任务运维等场景，充分满足离线数据开发过程中的各项需求，相比传统的开源工具，可以节省80%数据开发时间。

2、多引擎、异构对接：

• 兼容开源、Cloudera、Hortonworks、星环、华为Fusion Insight等各种Hadoop体系或MPP类数据库作为计算引擎； 一套离线开发平台支持同时对接多套云环境的异构引擎，例如：一套BatchWorks同时对接阿里云 EMR、AWS EMR、本地机房TiDB引擎；

3、自主知识产权：2大核心模块100%自研，掌握全部知识产权

• 批流一体数据同步引擎FlinkX：基于Flink框架自主研发的分布式、插件化、批流一体数据同步引擎FlinkX，具备全量/增量/实时数据抽取全栈能力。该引擎已经在Github上开源 高性能分布式调度引擎DAGScheduleX：自主研发的分布式DAG调度引擎，支持百万级任务并发，具备周期性、依赖性、优先级等多种调度配置

4、在线化、可视化操作：

产品通过Web页面为用户提供服务，屏蔽底层复杂的分布式计算引擎，在线化开发平台，提高开发效率。

标签：数据,
来源：

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。