标签：cli Flink1.9 Flink 汇总 commons kafka hadoop 2.11 Flink1.12

业务场景：

Flink消费Kafka数据写入Hbase

组件版本：

CDH：6.3.0

Flink：1.12.1

Hbase:2.1.0-cdh6.3.0

问题1：

java.lang.NoSuchMethodError:org.apache.commons.cli.Option.builder(Ljava/lang/string;)

问题原因：

hadoop-common依赖中commons-cli版本过低，导致程序运行找不到最新版的方法

解决办法：

剔除Hadoop中commons-cli的依赖，并添加高版本依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>3.0.0</version>
    <exclusions>
        <exclusion>
            <groupId>commons-cli</groupId>
            <artifactId>commons-cli</artifactId>
        </exclusion>
    </exclusions>
</dependency>

问题2：

Flink-Connector-Kafka-0.11_2.11依赖找不到

问题原因：

Flink1.12.1已经不支持Flink-Connector-Kafka-0.11_2.11

解决办法：

依赖统一替换为：flink-connector-kafka_2.11

问题3：

Keyby timwindow方法过时，同样代码，在升级到1.12.1之后，运行异常：notifyHeartbeatTimeout

 起初是消费kafka通过keyby+窗口写入到kafka，但升级之后一直无法运行，下游收不到任何数据，程序运行几分钟之后就开始报错

 此问题还在排查中，目前先通过其他方式运行

标签：cli,Flink1.9,Flink,汇总,commons,kafka,hadoop,2.11,Flink1.12
来源： https://www.cnblogs.com/changsblogs/p/16053835.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。