ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Filebeats input多个log文件,输出Kafka多个topic配置

2022-02-21 16:02:29  阅读:336  来源: 互联网

标签:10.0 filebeat Filebeats log 多个 9092 topic tac


Filebeats input多个log文件,输出Kafka多个topic配置:

# cat filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /tagetik/logs/*.log
  fields:
    log_topic: tac-service-log
  tags: ['north-tac-app01']
  include_lines: [".*"]

- type: log
  enabled: true
  paths:
    - /home/tac/APP/wildfly/log/*.log
  fields:
    log_topic: tac-wildfly-log
  include_lines: [".*"]
  tags: ['north-wildfly-app01']

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
output.kafka:
  hosts: ["10.0.1.110:9092","10.0.1.111:9092","10.0.1.112:9092"]
  topic: '%{[fields.log_topic]}'

log输出到到单topic配置实例:

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /tagetik/logs/*.log
  include_lines: [".*"]
  tags: ['north-tac-app01']
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
output.kafka:
  hosts: ["10.0.2.116:9092","10.0.2.117:9092","10.0.2.118:9092"]
  topic: tac-service-log

 

 

参考文档:https://www.elastic.co/guide/en/beats/filebeat/7.17/kafka-output.html#_password_4

 

标签:10.0,filebeat,Filebeats,log,多个,9092,topic,tac
来源: https://www.cnblogs.com/saneri/p/15919227.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有