ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Flink学习笔记——Execution Mode

2020-12-14 16:36:02  阅读:276  来源: 互联网

标签:flink Flink BATCH 模式 checkpoint STREAMING Mode Execution 运行


Flink有3中运行模式,分别是STREAMING,BATCH和AUTOMATIC

Ref

https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/datastream_execution_mode.html

1.STREAMING运行模式 是DataStream默认的运行模式

2.BATCH运行模式 也可以在DataStream API上运行

3.AUTOMATIC运行模式 是让系统根据source类型自动选择运行模式

可以通过命令行来配置运行模式

bin/flink run -Dexecution.runtime-mode=BATCH examples/streaming/WordCount.jar

也可以在代码中配置

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setRuntimeMode(RuntimeExecutionMode.BATCH);

 

STREAMING运行模式中,Flink使用StateBackend来控制状态存储和checkpoint的工作,RocksDBStateBackend支持增量Checkpoint,其他2个不支持

BATCH运行模式中,statebackend是被忽略的,batch模式不支持checkpoint

Flink支持3种StateBackend,其中

1.MemoryStateBackend
2.FsStateBackend
3.RocksDBStateBackend

StateBackend可以参考

【flink】flink状态后端配置-设置State Backend

 

STREAMING运行模式中,flink使用checkpoint来进行容错,checkpoint参考

https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/stream/state/checkpointing.html

BATCH运行模式中,flink会回滚到到之前的stage,只有失败的task才会重启,这比从checkpoint重启所以的task要高效,所以建议如果任务能在BATCK运行模式下运行,就使用BATCH运行模式

 

Broadcast State

1. STREAMING运行模式,一个典型应用就是允许一个控制流接收一个rules,并将其广播到其他的stream中

2. BATCH运行模式不支持

 

标签:flink,Flink,BATCH,模式,checkpoint,STREAMING,Mode,Execution,运行
来源: https://www.cnblogs.com/tonglin0325/p/14133121.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有