标签：keyby Java waterMark Flink --- 任务 数据 我们

       上一节我们说到了waterMark,这个时间数据的作用,我们知道waterMark表示在这个时间数据的,之前的数据都已经传输完了.

我们来看,我们知道在flink中,一个任务可以分为多个子任务,那么上游任务的数据,到子任务的时候,

数据我们说,如果设置了keyby那么,他分配下游子任务数据的时候,就是按照hashcode,这样分配的

对吧.

   如果没有设置keyby默认是通过轮询分配的对吧.

   那么如果从上游来的数据是waterMark呢?这种数据呢?

   他应该怎么做?应该广播出去对吧,如果是waterMark,我们说waterMark就是个时间数据,他

代表在这个时间,之前的数据都已经,传输完毕了,所以如果上游来的数据是waterMark的话,

就要广播出去,告诉所有的下游任务,在这个waterMark之前的数据都已经接收完毕了.

标签：keyby,Java,waterMark,Flink,---,任务,数据,我们
来源： https://blog.csdn.net/lidew521/article/details/123479940

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。