一、如何定义增量计算
有一家国外的网站这样定义了实时计算，增量计算，离线计算
我们以交通工具举个例子，来类比三种计算：
- 离线计算，就好比火车（绿皮车），每天发一次，每次能拉 1000 多人，延迟非常大，但每次能处理非常多的数据；
- 实时计算，就好比小汽车（私家车），每次拉的人不多，但满足时效性，想走就能走，但成本相对比较大；
- 增量计算，就好比是高铁（地铁或公交车），10 分钟来一趟，想来不一定能来，想走得去公交车站等车，但一趟车也能拉很多人。
二、增量计算的架构图
-
增量计算的增量体现在哪？
首先数据是要增量的入湖。 -
增量计算为什么要有消息队列的能力？
增量计算就是计算 5 分钟或者 10 分钟的数据，需要数据湖能从上次的地方继续开始消费。 -
增量计算为什么要支持 upsert 功能？
第一种场景：大屏显示，需要不断的修正数据，但 hdfs 做不到修正部分数据，要修正必须全量拿过来 merge，merge 完再覆盖，有 merge 就至少是 1 小时以上的延迟了。
第二种场景：延迟数据，比如现在要计算 1 分钟之内的数据，假设现在 1 分钟的数据计算完了，然后来了一条上个 1 分钟的数据，那么就要把上 1 分钟的数据再次计算一遍，再去修改。
所以，需要数据湖有 upsert 能力。
上图中，流计算和批计算的存储是统一的，但是计算引擎是不统一的，哪天 Flink 的功能更加完善了，就可以去掉 Spark，做到真正的计算和存储流批一体。
三、数据湖的核心原理（Iceberg）
官方对 Iceberg 的定义是一种 Open Table Format。
那什么是 table format？
我们看下面的架构：
- 最下面是文件系统，负责存储
- 上面一层是文件集合，比如 parquet 文件集合，orc 集合
- 再上面一层就是 table format，由四个方面组成：
• schema
• partition（文件如何组织）
• metadata（元数据，描述文件的数据）
• api（如何访问这些表） - 再上面一层就是计算引擎
关注公众号：KK架构师，获取更多数据湖实战内容和资料
标签：核心,分钟,merge,计算,增量,原理,数据,延迟 来源： https://blog.csdn.net/qq_24434251/article/details/111467615
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。