flink的伪分布式搭建

2022-01-15 19:02:15 阅读：168 来源： 互联网

标签：1.2 flink servers Job 分布式 root localhost 搭建

一 flink的伪分布式搭建

1.1 执行架构图

1.Flink 程序需要提交给 Job Client 2. Job Client 将作业提交给 Job Manager 3. Job Manager 负责协调资源分配和作业执行。资源分配完成后，任务将提交给相应的 Task Manage。 4.Task Manager 启动一个线程以开始执行。 Task Manager 会向 Job Manager 报告状态更改。例如开始执行，正在进行或已完成。 5.作业执行完成后，结果将发送回客户端（ Job Client ）

1.2 操作步骤

1.2.1 将flink安装包上传到服务器

1.2.2 解压

1.2.3 启动

[root@localhost flink-1.6.1]# ./bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host localhost.localdomain.
Starting taskexecutor daemon on host localhost.localdomain.

1.2.4 查看进程

1.2.5 页面访问

http://192.168.1.37:8081/

slot 在flink里面可以认为是资源组，Flink是通过将任务分成子任务并且将这些子任务分配到slot来并行执行程序。

1.2.6 测试

1.创建一个读取的文件

root@localhost servers]# touch flink_test
[root@localhost servers]# vi flink_test
[root@localhost servers]#
2.编辑内容

3.开始统计

[root@localhost flink-1.6.1]# bin/flink run /root/export/servers/flink-1.6.1/examples/batch/WordCount.jar --input /root/export/servers/flink_test --output /root/export/servers/flink_data2
Starting execution of program
Program execution finished
Job with JobID 88bfa737c790bb730eb3b36c53ccfe91 has finished.
Job Runtime: 1604 ms
[root@localhost flink-1.6.1]#

其中： flink_test 为输入的文件；flink_data2为输出的结果文件

4.页面查看

点进去，可以查看详情信息

查看flink_data2的输出结果：

标签：1.2,flink,servers,Job,分布式,root,localhost,搭建
来源： https://blog.csdn.net/u011066470/article/details/122513673

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9