标签：flume sinks sink1 -- kafka a1 日志 Kafka
日志项目实战(配置Kafka/flume)
一: 配置Kafka
#:启动zookeeper
登录master、slave1、slave2上分别执行启动zookeeper命令:zkServer.sh start
#:启动Kafka
(首先要先进入到Kafka的安装目录:cd /export/servers/kafka_2.11-0.10.1.0/)
登录master、slave1、slave2上分别执行启动Kafka命令:kafka-server-start.sh -daemon ./config/server.properties
#:创建topic (存放网络日志的文件)
kafka-topics.sh --zookeeper master:2181,slave1:2181,slave2:2181 --create --topic aboutyunlog --replication-factor 1 --partitions 3
#:创建消费者
kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --topic aboutyunlog --from-beginning
二: 配置Agent
#:进入flume目录中新增配置文件
/export/servers/apache-flume-1.7.0-bin/conf
新增一个agent配置文件,命名:log_collection.conf,内容如下:
# agent的名称为a1
a1.sources = source1
a1.channels = channel1
a1.sinks = sink1
# set source
#a1.sources.source1.type = spooldir
a1.sources.source1.type = TAILDIR
a1.sources.source1.filegroups = f1
a1.sources.source1.filegroups.f1 = /opt/lampp/logs/access_log
a1sources.source1.fileHeader = flase
# set sink
a1.sinks.sink1.type = org.apache.flume.sink.kafka.KafkaSink
#a1.sinks.sink1.kafka.bootstrap.servers = master:9092,slave1:9092,slave2:9092
a1.sinks.sink1.brokerList= master:9092,slave1:9092,slave2:9092
a1.sinks.sink1.topic= aboutyunlog
a1.sinks.sink1.kafka.flumeBatchSize = 20
a1.sinks.sink1.kafka.producer.acks = 1
a1.sinks.sink1.kafka.producer.linger.ms = 1
a1.sinks.sink1.kafka.producer.compression.type = snappy
# set channel
a1.channels.channel1.type = file
a1.channels.channel1.checkpointDir = /home/aboutyun/data/flume_data/checkpoint
a1.channels.channel1.dataDirs= /home/aboutyun/data/flume_data/data
# bind
a1.sources.source1.channels = channel1
a1.sinks.sink1.channel = channel1
#:创建所依赖的目录
mkdir -p /home/aboutyun/data/flume_data/checkpoint mkdir -p /home/aboutyun/data/flume_data/data
三: 启动flume
#:进入到flume目录
cd /export/servers/apache-flume-1.7.0-bin/bin/
nohup ./flume-ng agent --conf-file /export/servers/apache-flume-1.7.0-bin/conf/log_collection.conf --name a1 -Dflume.root.logger=INFO,console &
标签：flume,sinks,sink1,--,kafka,a1,日志,Kafka 来源： https://www.cnblogs.com/canbing/p/14252556.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。