原文链接：批流一体数据集成工具ChunJun同步Hive事务表原理详解及实战分享 课件获取：关注公众号__ “数栈研习社”，后台私信 “ChengYing”__ 获得直播课件 视频回放：点击这里 ChengYing 开源项目地址：github 丨 gitee 喜欢我们的项目给我们点个__ STAR！STAR！！STAR！！！（重要的事情说三遍）__ 技
通常我们在 Flink 中说批流一体指的是这四个方向，其中 Runtime 便是 Flink 运行时的实现。 数据交换模型Flink 对于流作业和批作业有一个统一的执行模型。 Flink 中每个 Task 的输出会以 IntermediateResult 做封装，内部并没有对流和批两种作业做一个明确的划分，只是通过不同类
一、Delta Lake 1.Delta Lake基础概述 接上文，我们全面地讲解了Data Lake相关的概念、对比区别以及实际发展历程等。那么这篇首章开篇我们来讲历史最为悠久的Delta Lake。它的定位是流批一体的存储中间层，支持 update/delete/merge。由于出自Databricks，spark的所有数据写
一 Lambda架构与Kappa架构 本章节内容大量摘自：https://docherish.com/post/da-shu-ju-chang-yong-de-jia-gou-lambda-he-kappa/ 1.1 Lambda架构 Lambda架构基本介绍： Lambda架构最早是由storm的创始人，Nathan Marz进行提出并描述了我们目前所了解的lambda架构。 Lambda架构
实现批处理的技术许许多多，从各种关系型数据库的sql处理，到大数据领域的MapReduce，Hive，Spark等等。这些都是处理有限数据流的经典方式。而Flink专注的是无限流处理，那么他是怎么做到批处理的呢？ 无限流处理：输入数据没有尽头；数据处理从当前或者过去的某一个时间 点开始，持续不停地进行 另
简介：StreamNative 联合创始人翟佳在本次演讲中介绍了下一代云原生消息流平台 Apache Pulsar，并讲解如何通过 Apache Pulsar 原生的存储计算分离的架构提供批流融合的基础，以及 Apache Pulsar 如何与 Flink 结合，实现批流一体的计算。 Apache Pulsar 相对比较新，它于 2017 年加入
