ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

大数据_Flink_数据处理_运行时架构7_程序结构和数据流图---Flink工作笔记0022

2022-03-01 10:03:40  阅读:223  来源: 互联网

标签:0022 输出 程序结构 多个 可以 Flink 然后 sink 数据流


然后我们再来看实际上,flink对数据的处理,反应到代码上可以看到都是对DataStream的处理对吧,然后我们看,可以分成3个部分,一个是source部分,这里就是对源数据流的读取,

然后transformation这个是转换的意思对吧,是对数据流的转换,然后再看sink这个是对数据流的输出

对吧.

transformation这个步跟spark不一样,不会区分转换算子和启动算子.

 

      然后我们再看,把上面的 程序代码分成了3个部分以后,再去看可以看成一个数据流图了,

其实就是数据流的流动对吧,流动的各个阶段做了各种处理,这里要注意,可以看到输入source,这里

可以有多个,源数据的流也可以有多个,然后sink,也可以有多个对吧,因为这里输出sink,可以输出到

mysql,也可以输出到redis,csv等等,可以有多个输出.

      然后上面的这个数据流图可以看到他是一个有向无环图对吧.

标签:0022,输出,程序结构,多个,可以,Flink,然后,sink,数据流
来源: https://blog.csdn.net/lidew521/article/details/123132824

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有