ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Filnk简介

2022-07-23 23:04:28  阅读:166  来源: 互联网

标签:存储 Filnk 处理 简介 Flink 支持 批处理 数据处理


Filnk简介

1. flink和spark的区别

2. 流处理和批处理

3. 无界流和有界流

4. 流处理和批处理

  • 流处理

  • 批处理

5. 离线计算和实时计算的区别

6. 实时计算面临的挑战

1.数据处理唯一性(如何保证数据只处理一次?至少一次?最多一次?)

2.数据处理的及时性(采集的实时数据量太大的话可能会导致短时间内处理不过来,如何保证数据能够及时的处理,不出现数据堆积?)

3.数据处理层和存储层的可扩展性(如何根据采集的实时数据量的大小提供动态扩缩容?)

4.数据处理层和存储层的容错性(如何保证数据处理层和存储层高可用,出现故障时数据处理层和存储层服务依旧可用?)

  • 支持高吞吐、低延迟、高性能的流处理
  • 支持带有事件时间的窗口(Window)操作
  • 支持有状态计算的Exactly-once语义
  • 支持高度灵活的窗口(Window)操作,支持基于time、count、session,以及data-driven的窗口操作
  • 支持具有反压功能的持续流模型
  • 支持基于轻量级分布式快照(Snapshot)实现的容错
  • 一个运行时同时支持Batch on Streaming处理和Streaming处理
  • Flink在JVM内部实现了自己的内存管理,避免了出现oom
  • 支持迭代计算
  • 支持程序自动优化:避免特定情况下Shuffle、排序等昂贵操作,中间结果有必要进行缓存

Flink技术栈

标签:存储,Filnk,处理,简介,Flink,支持,批处理,数据处理
来源: https://www.cnblogs.com/atao-BigData/p/16513479.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有