标签：FileBeat ELKF 传送门 官方 文档 日志 Logstash 输入

前言

Logstash 是数据收集引擎，可以对数据进行过滤、分析、丰富、统一格式等操作，存储到用户指定的位置，包含但不限于文件、 elasticsearch 。

代码仓库

talk-lucky/elkf-study

配置

Logstash 的配置分为 3 部分，输入、过滤器 和 输出。

input {
    # 这里填写输入部分
}

filter {
    # 这里填写过滤、解析部分
}

output {
    # 这里填写解析部分
}

输入

官方文档传送门

相对于 FileBeat，Logstash 的输入类型丰富很多。

支持 FileBeat、文件、Kafka、redis、Github Webhook 等。

FileBeat

接收来自 FileBeat 的输入。官方文档传送门

input {
  beats {
    port => 5044
  }
}

File

接收来自 文件 的输入。官方文档传送门

input {
  file {
    path => "/var/log/nginx/access.log"
  }
}

Kafka

接收来自 Kafka 的输入。官方文档传送门

input {
  kafka {
    zk_connect => "kafka:2181"
    group_id => "logstash"
    topic_id => "test"
    reset_beginning => false
    consumer_threads => 5
    decorate_events => true
  }
}

过滤器

官方文档传送门

这算是一个重点了，可以帮助我们将杂乱的日志解析成 json 方便分析。

用的比较多的就是 Gork 了。

输出

官方文档传送门

比起 FileBeat，Logstash 的输出可以做更多的事情，比如我们想要实现的 告警 功能。

支持 Elasticsearch、文件、Email、Kafka、redis、TCP 等。

其中，我们可以使用 TCP 实现我们的 钉钉告警。

我们目前是直接写入 Elasticsearch 的，这里放个 demo。

output {
  elasticsearch {
    index => "%{[fields][source]}-%{+YYYY.MM.dd}"
    hosts => "elasticsearch:9200"
  }
}

最后

本文只是做一些简单的介绍，实际应用，还是要依赖官方文档的帮助。

标签：FileBeat,ELKF,传送门,官方,文档,日志,Logstash,输入
来源： https://blog.csdn.net/github_35780607/article/details/111593127

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。