标签：Time Flink Processing 语义 Ingestion 时间 算子

Event Time

指的是数据流中每个元素或者每个事件自带的时间属性，一般是事件发生的时间

由于延迟有可能一个较早完成的事件晚一些到达，在开窗的时候我们不可能一直等待窗口内应该到达的所有数据

在实际应用中，当涉及到对事件按照时间窗口进行统计时，Flink会将窗口内的事件缓存下来，直到接受到一个Watermark

如何使用：

1. 使用Event Time作为时间戳
2. 生成Watermark

Watermark：在开窗接受数据的时候，Flink会等待一个有限的时间，假设在这之后不会有更晚的数据到达。

在一定程度上降低了计算结果的绝对准确性，且增加了系统的延迟

优点：

1. 某个事件的时间是确定的，保证计算结果在一定程度上的可预测性

缺点：

1. 缓存较大，增加了延迟，调试和定位问题更复杂

Processing Time

指的是，算子使用当前机器的系统时钟时间

无视事件本身的时间属性，只要该事件在某个时间段到达了某个算子，就会被归结到该窗口下

优点：

1. 只依赖当前执行机器的系统时钟，不需要依赖Watermark
2. 无需缓存
3. 实现简单，延迟最小

缺点：

不同环境下时间窗口的计算结果会发生变化，所以Processing Time在时间窗口下的计算会有不确定性

Ingestion Time

Ingestion Time是事件到达Flink Source的时间。从Source到下游各个算子中间可能有很多计算环节，任何一个算子的处理速度快慢可能影响到下游算子的Processing Time。而Ingestion Time定义的是数据流最早进入Flink的时间，因此不会被算子处理速度影响。

Ingestion Time通常是Event Time和Processing Time之间的一个折中方案。比起Event Time，Ingestion Time可以不需要设置复杂的Watermark，因此也不需要太多缓存，延迟较低。比起Processing Time，Ingestion Time的时间是Source赋值的，一个事件在整个处理过程从头至尾都使用这个时间，而且后续算子不受前序算子处理速度的影响，计算结果相对准确一些，但计算成本比Processing Time稍高。

Flink的时间语义 | Weizheng (lulaoshi.info)

标签：Time,Flink,Processing,语义,Ingestion,时间,算子
来源： https://www.cnblogs.com/zhbeii/p/15836024.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。