ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

每周一坑-dmesg异常和excel列去重

2022-07-31 19:32:21  阅读:146  来源: 互联网

标签:dmesg IP excel 信息 开机 缓冲区 列去


 每周一坑-dmesg异常和excel列去重   抓住7月的尾巴,写多一篇博客~~~   没想到非常时期,周末还要被业主方抓去干活,幸好占用时间不多 = =   一、dmesg异常之缓冲区不足

    每个月月底的最后一个工作日,我们都会进行一次xx系统月巡检。其中有项是检查开机信息的:

dmesg > /tmp/xxx-bak/202207.dmesg.log

  刚好想看下该文件内容,咋知道发现报错如下:

    先扫盲下,这个玩意干啥的(其实不报错之前我也不知道干啥的,报告模板写啥我就运行啥):

  dmesg命令用于显示linux系统开机启动信息,被用于检查和控制内核(kernel)的环形缓冲区(是什么),我们可以从中获得诸如系统架构、cpu、挂载的硬件,RAM等多个运行级别的大量的系统信息(有什么用)

  当计算机启动时,系统内核(操作系统的核心部分)将会被加载到内存中。在加载的过程中会显示很多的信息,在这些信息中我们可以看到内核检测硬件设备。

 

  我发现有两台机器时(一个入口,一个主服务器)这样的,另一台机器(备用服务器)是没有这样的报错。而且,是从去年12月开始持续到现在,意味着我周五如果没发现,就会一直写入错误的报错信息,而不是如下图的正常开机信息:

 

   作为一个又懒又菜的人(其实周五还有别的事,忙死 = =),我就把这个问题扔给阿里处理了,工单反馈。一波神操作(授权他们上去看)后,叫我重启机器就完事了。

1、问题原因:

  他们说查看了系统日志:/var/log/dmesg(可以理解成dmesg的持久化:若是开机时来不及查看信息,可利用dmesg来查看。开机信息亦保存在/var/log目录中,名称为dmesg),信息输出是正常的(他边说我边查看验证,确实没错,秉着严谨态度),

  但是直接执行dmesg异常,目前初步判断是由于缓冲区导致的,也就是说缓冲区不足,搞到这个命令输出失常。   最后安慰我,说既然 /var/log/dmesg日志是正常的,其实影响也不大,可以不管。但是我怕人家查我每月日志记录,还是重启算了。  

2、解决方法如下:

 (1)先根据文档进行缓冲区大小设置(设置大一点):https://blog.csdn.net/liu0808/article/details/53161832

 (2)尝试dmesg -c 清除内核环形缓冲区 + 重启机器:

如果设置缓存区大小还是不行的话,只能清除缓存,然后重启重新生成缓存了

注意:这个方法并不是通用的,具体问题具体分析!!

 

二、excel列去重   这两天零碎加班做的事,先在我周五去打球的路上,真的在我骑车的路上,突然来个微信语音(没听到没接)+微信留言,当时我想爆炸= =,以至于我差点迟到,叫我做WAF放行的业务分析,是否有安全风险,是的话做策略封堵,做个分析给他(幸好第二天跟他确认过不难),从周五开始叫天天导日志交给一个人,因为我负责的控制台导不出按时间粒度的,只能按天,业主方又需要前一天16点到今天16点的。于是只能转移压力到电信了,幸好他们能做,只需要每天3点半左右提醒他们导。   然后今天突然说要按照某个模板,整理恶意攻击且去重的IP,不需要那么详细了,真。恶心我一批。而且原始日志里面有好多个EXCEL文件

 

  我参考这个文档弄的:likecs.com/show-182791.html

  思路:打开每个excel

(1)先数据筛选,去掉白名单放行(白名单就不叫恶意IP啦),留下告警+拦截的IP

(2)根据下图复制IP列,选择不重复的记录,复制到另一列,就是该excel(单个excel)去重后的恶意攻击IP

(3)重复(1)~(2)的步骤,把恶意攻击IP汇总到一个总表,最后在做一次去重,就能交功课了  ——》 不要漏掉这一步,除非你仅仅处理一个excel文件。

 

标签:dmesg,IP,excel,信息,开机,缓冲区,列去
来源: https://www.cnblogs.com/windysai/p/16537923.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有