标签：elk filebeat 配置文件 配置 redis elasticsearch 日志 logstash

前言

  很多时候，我们需要将多台服务器上的日志文件（系统日志、站点日志、业务日志等）汇总到一台日志服务器上，同时需要对日志进行汇总分析、或从大量的日志数据中找到自己需要的日志信息，如何快速汇总和检索日志数据是需要解决的问题。本文主要介绍通过filebeat收集日志，再使用redis作为消息队列进行传输，最终存储到ES中，使用kibana进行统计和查询。本文主要记录配置信息，方便后期查看，原理这些不会介绍，有兴趣的可以看下我之前的博客。

系统结构说明

QA答疑：

• 为什么使用filebeat收集应用服务器上的数据，而不是logstash？答：因为logstash依赖JVM，运行期间占用服务器资源也很大，而filebeat没有依赖，更加轻量，部署很方便。
• 为什么使用redis作为消息队列，kafka是否可以？为什么需要消息队列？答：kafka也可以，根据自身业务需求自行选择即可。采用消息队列是考虑到随着业务服务器的越来越多，直接将filebeat搜集的数据传输给logstash，logstash接收数据会出现延迟甚至是宕机，从而导致数据丢失，通过消息队列作为数据缓冲层可以有效减轻logstash的压力，提高整个架构的稳定性。
• 为什么在redis和ES之间又加了logstash，是不是太多余了？答：这里的logstash不是必须的，可以将队列的里数据存储到ES中，博主这边之所以加一层logstash是因为从业务角度出发，需要将filebeat搜集上来的数据进行有目的的过滤，filebeat虽然也有filter，但是过于简单，不满足我的需求，所以将数据过滤的逻辑放到了logstash中。

配置及启动说明

filebeat

配置文件名：filebeat.yml

配置内容

# ============================== Filebeat 输入配置==============================
filebeat.inputs:
- type: log
  enabled: true
  # 每 5 秒检测一次文件是否有新的一行内容需要读取
  backoff: "5s"
  # 是否从文件末尾开始读取
  tail_files: false
  # 需要收集的数据所在的目录
  paths:
    - D:/web/openweb/Log/2021/*.log
  # 自定义字段，在logstash中会根据该字段来在ES中建立不同的索引
  fields:
    filetype: apiweb_producelog

# 这里是收集的第二个数据，多个依次往下添加
- type: log
  enabled: true
  backoff: "5s"
  tail_files: false
  paths:
    - D:/web/openweb/Logs/Warn/*.log
  fields:
    filetype: apiweb_supplierlog

# ============================== Filebeat modules ==============================
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 1

setup.kibana:

# ============================== Filebeat 输出配置====================
output.redis:
  enabled: true
  # redis地址
  hosts: ["192.168.1.103:6379"]
  # redis密码，没有密码则不添加该配置项
  password: 123456
  # 数据存储到redis的key值
  key: apilog
  # 数据存储到redis的第几个库
  db: 1
  # 数据存储类型
  datatype: list

# ================================= Processors =================================
processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

启动说明

# 进入执行文件目录
cd /d D:/ELK/filebeat-7.14.0
# 启动
.\filebeat -e -c filebeat.yml

logstash

配置文件名：logstash.conf（在bin目录下新建文件）

配置内容

# 输入
input {
  redis {
        host => "10.188.88.81"
        port => 6379
        password => "redis"
        key => "apilog" #这里的key值和filebeat配置文件中output.redis的key值保持一致
        data_type => "list"
        db =>1
    }
}
# 过滤
filter {
    if [fields][filetype] == "apiweb_producelog" {
      json {
        source => "message"
        remove_field => ["_type","beat","offset","tags","prospector"] #移除字段，不需要采集
      }
      date {
        match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"] #匹配timestamp字段
        target => "@timestamp"  #将匹配到的数据写到@timestamp字段中
      }
    }
}

# 输出
output {
    # 输出到 Elasticsearch，根据filebeat中配置的filetype，在ES中建立不同的索引
    if [fields][filetype] == "apiweb_producelog" {
        elasticsearch {
            # Elasticsearch 地址
            hosts => ["localhost:9200"]
            # Elasticsearch 索引名
            index => "producelog-%{+YYYY.MM.dd}"
        }
    } else if [fields][filetype] == "apiweb_supplierlog" {
        elasticsearch {
            hosts => ["localhost:9200"]
            index => "supplierlog-%{+YYYY.MM.dd}"
        }
    } else {
        elasticsearch {
            hosts => ["localhost:9200"]
            index => "apilog-%{+YYYY.MM.dd}"
        }
    }
}

启动说明

# 进入目录
cd /d D:/ELK/logstash-7.7.0
# 启动服务
bin\logstash -f bin\logstash.conf

elasticsearch

配置文件名：elasticsearch.yml

配置内容

# 数据存放目录
path.data: D:/ELK/elasticsearch-7.7.0/data
# 日志存放目录
path.logs: D:/ELK/elasticsearch-7.7.0/logs
# 服务IP
network.host: 127.0.0.1
# 服务端口
http.port: 9200

启动说明

# 进入目录
cd /d D:/ELK/elasticsearch-7.7.0
# 启动服务
bin\elasticsearch

kibana

配置文件名：kibana.yml

配置内容

# 服务地址，根据实际情况自行调整
server.host: "localhost"
# 服务端口
server.port: 5601
# ES的地址
elasticsearch.hosts: ["http://localhost:9200"]
# kibana的索引
kibana.index: ".kibana"
# 界面语言，默认是en
i18n.locale: "zh-CN"

以上就是filebeat、ELK的全部配置说明，本文主要是作记录使用

标签：elk,filebeat,配置文件,配置,redis,elasticsearch,日志,logstash
来源： https://www.cnblogs.com/jiangcong/p/15185016.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。