安装Zookeeper docker run --name zookeeper -d -p 2181:2181 -v /etc/localtime:/etc/localtime library/zookeeper 安装Kafka docker run -d --name kafka -p 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=IP:2181/kafka --env KAFKA_ADVERTISED_HOST_NAME=IP --e
生产者/opt/kafka/bin/kafka-console-producer.sh --broker-list kafka.service.consul:9092 --topic 0bkmonitor_15026750 消费者/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server kafka.service.consul:9092 --topic 0bkmonitor_15026750 查询历史数据/opt/kafka/b
常用命令 创建Topic： ./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic shixTopic --partitions 2 --replication-factor 1 查看Topic： ./kafka-topics.sh --list --bootstrap-server localhost:9092 生产数据： ./kafka-console-producer.sh --broker-list
今天遇到一个问题，由于代码问题导致了很多kafka消息入到备用库，偏移量已经变成了最新；如何将偏移量重设到某个时间点，但消费群组重新去消费一次，是解决问题的关键，于是，使用了kafka/bin的sh程序，以下是解决问题的步骤： 查看某个组的topic偏移量，这步只是查看，没什么配置作用，只是作到心中有数
6、Flink SQl 语法 1、查询语句 1、hint 在对表进行查询的是偶动态修改表的属性 -- 创建表 CREATE TABLE word ( lines STRING ) WITH ( 'connector' = 'kafka', 'topic' = 'word', 'properties.bootstrap.servers' = 'master:9092,no
1. 参考 docker部署kafka集群 (多台服务器) 2. 安装 docker-compose 查看之前的博客进行部署（动动小手） 3. 安装 kafka-cluster 目录结构 docker-kafka-cluster ├── docker-compose .yml ├── .env └── start .sh version: '3' services: kafka-manage
主题管理 创建主题 1 kafka-topics.sh --bootstrap-server 172.16.100.10:9092 --create --topic TestCCC --partitions 3 --replication-factor 3 列出所有主题 1 2 3 4 kafka-topics.sh --list --bootstrap-server 172.16.100.10:9092 # 对于启
docker 中安装kafka 在安装kafka之前需要先安装zookeeper，因为kafka 启动会将元数据保存在 zookeeper 中，zookeeper是一种分布式协调服务，可以再分布式系统中共享配置，协调锁资源，提供命名服务。 zookeeper 安装 1、在docker中拉取zookeeper 镜像 docker pull wurstmeister/zookeeper
Windows Docker好方便呀呀呀 今天我需要测试自己写的KafKa基础类库，自己需要搭建一个KafKa环境，自己的云主机不能用，电脑也没有开虚拟机，但是想了一下需要在windows电脑安装Kafka 环境好麻烦呀！！！！ 后面想到有Windows for Docker 工具可以解决困惑。 安装Hyper-V和开启Hyper-V 按以下步
十年河东，十年河西，莫欺少年穷 学无止境，精益求精 kafka 3.0 版本官方文档：https://kafka.apache.org/30/documentation.html 1、topic相关 常用命令 查询topics列表 bin/kafka-topics.sh --bootstrap-server 192.168.182.128:9092 --listbin/kafka-topics.sh --bootstrap-server 19
kafka由三部分组成,生产者,broker ,消费者 [root@VM-24-2-centos kafka]# bin/kafka-console-consumer.sh --topic test1 --from-beginning --bootstrap-server localhost:9092 --from-beginning 就把历史数据拿到 kafka集成springboot 生产者 消费者
docker 就是容器盒子(类)和class(镜像文件)的关系 如果本地没有,就去下载镜像最新, 把镜像拉下来然后放到一个容器上面 查看docker镜像的ip 后面才是完整版 docker的网络,桥接模式 docker 常见命令 kafka所有的脚本都存在于bin目录下
Apache Kafka 是一个开源分布式事件流平台，由Scala和Java编写。 elk建议使用Kafka 版本 0.8.2.0 及更高版本 [下载地址](Apache Kafka) 主配置文件 cat server.properties `broker.id=0` 集群中每个节点必须唯一 `listeners = PLAINTEXT://127.0.0.1:9092` 监听地址 `log.dirs=/t
服务 建议节点数 依赖 端口 elasticsearch 3 jdk 9200/9300 zookeeper 3 jdk 2181/2888/3888 kafka 3 jdk 9092 filebeat go语言开发，没有依赖 logstash java 9600 kibana 无 5601
原文地址【侵删】：https://blog.51cto.com/fengyuzaitu/2496201 以下为搬运内容： 1）环境软件版本2.0.0 Released July 30, 2018 Release Notes Source download: kafka-2.0.0-src.tgz (asc, sha512) Binary downloads
搭建kafka 一. 概述 1. 介绍 Kafka 是个分布式的、持分区的（partition）、多副本的 （replica），基于 zookeeper 协调的分布式消息系统，它最大的特性就是可以实时处理大量数据以满足各类需求场景： 日志收集：使用 Kafka 收集各种服务的日志，并通过 kafka 以统一接口服务的方式开放给各种 cons
准备 系统IP应用myiddrocker.id CentOS 7 192.168.100.20 Elasticserach+kibana+kafka+zookeeper 1 1 CentOS 7 192.168.100.30 Elasticserach+kafka+zookeeper+filebeat+logstash 2 2 CentOS 7 192.168.100.40 Elasticserach+kafka+zookeeper+filebeat 3 3 先配置好
Filebeats input多个log文件，输出Kafka多个topic配置: # cat filebeat.yml filebeat.inputs: - type: log enabled: true paths: - /tagetik/logs/*.log fields: log_topic: tac-service-log tags: ['north-tac-app01'] include_lines: [".*"]
1、#查看iptables iptables -L -n --line-numbers 2、#在tcp协议中，禁止所有的ip访问本机的9092端口，（执行命令的本机也会禁止） iptables -I INPUT -p tcp --dport 9092 -j DROP 3、#允许10.10.5.1访问本机的9092端口 iptables -I INPUT -s 10.10.5.1 -ptcp --dport 9092 -j ACC
说明 因为目前SpringBoot只支持到2.8.1,所以kafka集群以2.8.1版本搭建,且kafka3.0.0已开始弃用Java8… 1. 清除160机器的历史数据 1.1 删除日志 rm -rf /tmp/kafka-logs rm -rf /usr/local/src/kafka_2.13-3.0.0/ ls 1.2 进入Zookeeper客户端,删除掉历史的brokers deleteal
之前也学习过消息队列，但一直没有使用的场景，今天项目中遇到了 kafka 那便有了应用场景 1. Kafka Kafka 是一个分布式、支持分区，多副本的基于 zookeeper 的消息队列。使用消息队列，是应用 A 将要处理的信息发送到消息队列然后继续下面的任务，需要该信息的应用 B 从消息队列
Kafka三种认证模式 使用kerberos认证 bootstrap.servers=hadoop01.com:9092,hadoop02.com:9092,hadoop03.com:9092,hadoop04.com:9092 security.protocol=SASL_PLAINTEXT sasl.kerberos.service.name=hadoop # 使用本地缓存 sasl.jaas.config=com.sun.security.auth.module.Krb5Lo
在创建主题时， 在较新版本（2.2 及更高版本）的 Kafka 不再需要 ZooKeeper 连接字符串，即- -zookeeper localhost:2181。使用 Kafka Broker的 --bootstrap-server localhost:9092来替代- -zookeeper localhost:2181。 即使用命令： bin/kafka-topics.sh --create --bootstrap-server loca
问题： 在服务器本地可以使用命令行参数连接并且进行发布订阅操作，但是使用spring boot连接服务器则不行，会有如下错误： Connection to node 1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available 这个问题需要我们修改下kafka的配置文件，添加一
我是
