ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

基于zabbix的监控keepalive脑裂

2021-05-24 02:02:34  阅读:207  来源: 互联网

标签:192.168 zabbix 脑裂 心跳 服务器 node2 root keepalive


环境

主机 ip 应用
master(node1) 192.168.94.141 keepalive,nginx
slave(node2) 192.168.94.143 keepalived,nginx
zabbix(node3) 192.168.94.129 zabbix,lamp

zabbix部署详见这篇文章 https://www.cnblogs.com/fangxinxin/p/14630804.html

脑裂

在高可用系统中,联系节点“心跳线”断开时,作为整体的高可用系统,分裂为2个独立个体,他们会相互争夺资源。针对无状态服务则还好,有状态服务(如mysql)的高可用,脑裂会损坏数据,则必须防止。

产生的原因

  1. 高可用服务器对之间心跳线链路发生故障,导致无法正常通信。
  2. 因心跳线坏了(包括断了,老化)。
  3. 因网卡及相关驱动坏了,ip配置及冲突问题(网卡直连)。
  4. 因心跳线间连接的设备故障(网卡及交换机)。
  5. 因仲裁的机器出问题(采用仲裁的方案)。
  6. 高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。
  7. 高可用服务器上心跳网卡地址等信息配置不正确,导致发送心跳失败。
  8. 其他服务配置不当等原因,如心跳方式不同,心跳广插冲突、软件Bug等。
  9. Keepalived配置里同一 VRRP实例如果virtual_router_id两端参数配置不一致也会导致裂脑问题发生。

常见解决方案

在实际生产环境中,我们可以从以下几个方面来防止裂脑问题的发生:

  • 同时使用串行电缆和以太网电缆连接,同时用两条心跳线路,这样一条线路坏了,另一个还是好的,依然能传送心跳消息。

  • 当检测到裂脑时强行关闭一个心跳节点(这个功能需特殊设备支持,如Stonith、feyce)。相当于备节点接收不到心跳消患,通过单独的线路发送关机命令关闭主节点的电源。

  • 做好对裂脑的监控报警(如邮件及手机短信等或值班).在问题发生时人为第一时间介入仲裁,降低损失。例如,百度的监控报警短倍就有上行和下行的区别。报警消息发送到管理员手机上,管理员可以通过手机回复对应数字或简单的字符串操作返回给服务器.让服务器根据指令自动处理相应故障,这样解决故障的时间更短.

当然,在实施高可用方案时,要根据业务实际需求确定是否能容忍这样的损失。对于一般的网站常规业务.这个损失是可容忍

实例监控

思路:判断标准为查看从服务器的vip是否存在,是则报警:可能主挂掉了或发生脑裂。

//从服务器上编写脚本
[root@node2 ~]# mkdir  /script
[root@node2 ~]# cd  /script
[root@node2 script]# vim chkvip.sh

#!/bin/bash
ip address show dev ens160 |grep 192.168.94.250/32
if [ $? -eq 0 ];then
        echo '1'
else
        echo '0'
fi
[root@node2 script]# chmod +x chkvip.sh
[root@node2 ~]#   vim /usr/local/zabbix/etc/zabbix_agentd.conf
...
//自定义监控
UnsafeUserParameters=1
UserParameter=check_slave,/script/chkvip.sh

//zabbix监控机查看能否接受
[root@node3 ~]# /usr/local/zabbix/bin/zabbix_get -s 192.168.94.143 -k check_slave
0

标签:192.168,zabbix,脑裂,心跳,服务器,node2,root,keepalive
来源: https://www.cnblogs.com/fangxinxin/p/14802780.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有