标签:1.4 ELK 插件 log patterns 正则 test logstash
kibana各种插件:
1.过虑插件 kv
(1)KV插件:接收一个键值数据,按照指定分隔符解析为Logstash 事件中的数据结构,放到事件顶层。 常用字段: • field_split 指定键值分隔符,默认空 示例:[root@hd1 conf.d]# cat test.conf input { file { path => "/var/log/test/*.log" exclude => "error.log" start_position => "beginning" tags => "web" tags => "nginx" type => "access" add_field => { "project" => "cloud service" "app" => "douyu" } } } filter { kv{ field_split => "%&" #分隔符号自己定义 } } output { elasticsearch { hosts => ["192.168.1.11:9200"] index => "test-%{+YYYY.MM.dd}" } }
(2)重启kibana systemctl restart logstash
(3)输入内容进去
echo "www.abcd.com?id=1&name=habagou&age=10" >>/var/log/test/access.log
2.,Grok插件:如果采集的日志格式是非结构化的,可以写正则表 达式提取,grok是正则表达式支持的实现
常用字段: • match 正则匹配模式 • patterns_dir 自定义正则模式文件 正则表达式格式: %{IP:client} 中 IP表示正则表达式 Logstash内置的正则匹配模式,在安装目录下可以看到,路径: vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core4.1.2/patterns/grok-patterns(1)先去kibana上找到开发工具——Grok Debugger进行正则表达测试
测试:192.168.213.4 GET /index.html 15824 0.055
把测试好的正则表达式写入配置文件中
3。GeoIP插件
GeoIP插件:根据Maxmind GeoLite2数据库中的数据添加有关IP地址位置信息
(1).安装GeoLite2-City软件包,我用的是压缩包,
[root@logstash opt]# tar -xf GeoLite2-City_20201103.tar.gz
(2)先去
标签:1.4,ELK,插件,log,patterns,正则,test,logstash 来源: https://www.cnblogs.com/zhaohongting/p/16073682.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。