标签：flink 读取数据 数据源 Flink Sink 算子 入门

flink简介
https://blog.csdn.net/qq_35423154/article/details/113759891

1. environment

flink任务在提交计算时，首先与flink框架建立联系，获取了环境信息才能将task调度到不同的任务管理者那里执行。

2.Source

Flink框架从不同的数据源获取数据，随后框架对数据进行处理

1）从数据集合中读取数据

一般将数据临时加载入内存中，形成特殊的数据结构。作为数据源使用

2）从文件中读取数据

比较常见的是将日志文件作为数据源

3）从Kafka中读取数据

4）自定义数据源中读取

3.Transform

在Spark中，算子分为转换算子和行动算子，转换算子的作用可以通过算子方法的调用将一个RDD转换另外一个RDD，Flink中也存在同样的操作，可以将一个数据流转换为其他的数据流。

转换过程中，数据流的类型也会发生变化，那么到底Flink支持什么样的数据类型呢，其实我们常用的数据类型，Flink都是支持的。比如：Long, String, Integer, Int, 元组，样例类，List, Map等。

4.Sink

Sink有下沉的意思，在Flink中所谓的Sink其实可以表示为将数据存储起来的意思，也可以将范围扩大，表示将处理完的数据发送到指定的存储系统的输出操作

标签：flink,读取数据,数据源,Flink,Sink,算子,入门
来源： https://blog.csdn.net/qq_39460338/article/details/119906104

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。