linux的统计实现

2021-08-09 15:33:54 阅读：220 来源： 互联网

标签：category 107.151 index 实现 ip source linux id 统计

场景：

将下面的数据里category里的分类统计计数

数据源

es_ip10000.json

{"_index":"order","_type":"service","_id":"107.151.83.180:22","_score":1,"_source":{"ip":"107.151.83.180","parent_category":["支撑系统"],"category":["其他支撑系统"]}}
{"_index":"order","_type":"service","_id":"107.151.84.167:22","_score":1,"_source":{"ip":"107.151.84.167","parent_category":["支撑系统"],"category":["其他支撑系统"]}}
{"_index":"order","_type":"service","_id":"107.151.84.177:22","_score":1,"_source":{"ip":"107.151.84.177","parent_category":["支撑系统"],"category":["其他支撑系统"]}}
{"_index":"order","_type":"service","_id":"107.152.188.252:1723","_score":1,"_source":{"ip":"107.152.188.252","parent_category":["网络产品"],"category":["路由器"]}}
{"_index":"order","_type":"service","_id":"107.151.89.125:1025","_score":1,"_source":{"ip":"107.151.89.125"}}
{"_index":"order","_type":"service","_id":"107.152.58.217:22","_score":1,"_source":{"ip":"107.152.58.217","parent_category":["支撑系统"],"category":["服务"]}}
{"_index":"order","_type":"subdomain","_id":"107.15.221.83:443","_score":1,"_source":{"ip":"107.15.221.83","parent_category":["办公外设","系统软件"],"category":["打印机","操作系统"]}}

取_source下的category字段

cat es_ip10000.json | jq ._source.category > category.txt

输出结果

[
  "其他支撑系统"
]
[
  "其他支撑系统"
]
[
  "其他支撑系统"
]
[
  "路由器"
]
null
[
  "服务"
]
[
  "打印机",
  "操作系统"
]

用编辑器，去除 , [ 和 ]

处理后的结果


  "其他支撑系统"


  "其他支撑系统"


  "其他支撑系统"


  "路由器"

null

  "服务"


  "打印机"
  "操作系统"

排序 -->去重->统计->再排序

cat category.txt | sort | uniq -c | sort -n >category_count.txt

说明：

uniq -c #去重并统计

sort -n # 正序排序

输出结果：

      1 null
      1   "操作系统"
      1   "打印机"
      1   "服务"
      1   "路由器"
      3   "其他支撑系统"
     12

标签：category,107.151,index,实现,ip,source,linux,id,统计
来源： https://www.cnblogs.com/haima/p/15118877.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

linux的统计实现