标签：Standalone app Flink hadoop001 hadoop002 hadoop003 集群 usr

Flink 支持使用多种部署模式来满足不同规模应用的需求，常见的有单机模式，Standalone Cluster 模式，同时 Flink 也支持部署在其他第三方平台上，如 YARN，Mesos，Docker，Kubernetes 等。以下主要介绍其Standalone Cluster 模式的部署。

    Standalone Cluster 模式是 Flink 自带的一种集群模式，具体配置步骤如下：

安装部署

1. 前置条件

使用该模式前，需要确保所有服务器间都已经配置好 SSH 免密登录服务。这里我以三台服务器为例，主机名分别为 hadoop001，hadoop002，hadoop003 , 其中 hadoop001 为 master 节点，其余两台为 slave 节点。

主机名	master	slave
hadoop001	√
hadoop002		√
hadoop003		√

2. 搭建步骤

Flink 所有版本的安装包可以直接从其官网进行下载，这里我下载的 Flink 的版本为 1.12.4，要求的 JDK 版本为 1.8.x +。 下载后解压到指定目录：

tar -zxvf flink-1.12.4-bin-scala_2.11.tgz -C /usr/app

修改 conf/flink-conf.yaml 中 jobmanager 节点的通讯地址为 hadoop001:

jobmanager.rpc.address: hadoop001

修改 conf/slaves 配置文件，将 hadoop002 和 hadoop003 配置为 slave 节点：

hadoop002
hadoop003

将配置好的 Flink 安装包分发到其他两台服务器上：

scp -r /usr/app/flink-1.12.4 hadoop002:/usr/app
scp -r /usr/app/flink-1.12.4 hadoop003:/usr/app

在 hadoop001 上使用如下命令来启动集群：

bin/start-cluster.sh

此时控制台输出如下：

 

启动完成后可以使用 Jps 命令或者通过 WEB 界面来查看是否启动成功。

3. 可选配置

除了上面介绍的 jobmanager.rpc.address 是必选配置外，Flink 还支持使用其他可选参数来优化集群性能，主要如下：

• jobmanager.heap.size：JobManager 的 JVM 堆内存大小，默认为 1024m 。
• taskmanager.heap.size：Taskmanager 的 JVM 堆内存大小，默认为 1024m 。
• taskmanager.numberOfTaskSlots：Taskmanager 上 slots 的数量，通常设置为 CPU 核心的数量，或其一半。
• parallelism.default：任务默认的并行度。
• io.tmp.dirs：存储临时文件的路径，如果没有配置，则默认采用服务器的临时目录，如 LInux 的 /tmp 目录。

更多配置可以参考 Flink 的官方手册：Configuration

标签：Standalone,app,Flink,hadoop001,hadoop002,hadoop003,集群,usr
来源： https://blog.csdn.net/qq_56870570/article/details/123554590

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。