标签：flume bin 4.3 -- kafka conf Kafka 输入

〇、目标

使用kafka和flume组合进行日志采集

拓扑结构

 

一、重启SSH和zk服务

打开终端，首先输入：sudo service ssh restart

 

 重启ssh服务。之后输入下述命令开启zookeeper服务：

zkServer.sh start

二、启动flume

输入cd /home/user/bigdata/apache-flume-1.9.0-bin

进入flume目录后输入

bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name agent1

启动flume

 

三、启动kafka

打开一个终端，先配置hosts再进入到kafka目录，输入：

echo "127.0.0.1 "$HOSTNAME | sudo tee -a /etc/hosts

进入kafka目录，输入

cd /home/user/bigdata/kafka_2.11-1.0.0
nohup bin/kafka-server-start.sh config/server.properties >~/bigdata/kafka_2.11-1.0.0/logs/server.log 2>&1 &

后台启动kafka。输入jps查看进程：jps

 

输入：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic1

创建topic

 

输入bin/kafka-topics.sh --list --zookeeper localhost:2181

查看已经创建好的topic

 

输入bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic1

打开kafka的comsumer消费发来的信息。

 

再打开第三个终端，输入：telnet localhost 44445

之后进行任意输入，会发现kafka的终端中出现了你输入的话。

 

标签：flume,bin,4.3,--,kafka,conf,Kafka,输入
来源： https://www.cnblogs.com/liujinhui/p/16383183.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。