ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

百面机器学习--No.3 模型评估 -- 预测结果的衡量指标和局限性

2022-01-10 21:00:38  阅读:205  来源: 互联网

标签:曲线 ROC -- 模型 样本 No.3 精确 召回 百面


预测结果的衡量指标

准确率

准确率是指分类正确的样本占总样本个数的比例;
局限性:
会受到类别不平衡的影响,从而导致模型性能看起来好,但是实际效果会很差;举例:100样本中,有99个正例,1个负例,如果模型判定为全部的都为正例,则准确率为 99%,从而忽视了负例;随着样本量的增加,模型的预测效果也就越大。

在这里插入图片描述

精确率和召回率

精确率

精确率是指分类正确的正样本个数占分类器判定为正样本的样本个数的比例。

用来判定,分类器到底预测正确的正样本量占总的预测正样本量的比例。

精确率 = 分类正确的正样本数 / 分类器预测的正样本数

召回率

召回率是指分类正确的正样本个数占真正的正样本个数的比例

召回率 = 分类正确的正样本数 / 真正的正样本的量 

对比:

两者来看,分子是相同的,即都是(模型预测正确的,正样本的量)
分母是不同:

  • 精确度的分母指的是,模型预测出的正样本量(包括判断正确的,判断错误的),才叫做精确率,意思是,模型预测的效果有多精确 。

  • 召回率的分母是,全部的正样本量(是真实的正样本数量)

P-R 曲线

P-R曲线的横轴是召回率, 纵轴是精确率。

P-R曲线上的一个点代表着, 在某一阈值下, 模型将大于该阈值的结果判定为正样本,小于该阈值的结果判定为负样本, 此时返回结果对应的召回率和精确率。

举例:

从图中,我们可以看到,模型的精确率和召回率是相互限制的关系,单纯的使用某个值来衡量模型预测结果的好坏是不全面的。某个点对应的精确率和召回率是不能全面地衡量模型的性能, 只有通过P-R曲线的整体表现, 才能够对模型进行更为全面的评估。

在这里插入图片描述

F1-score

公式如下:
在这里插入图片描述

ROC 曲线

在这里插入图片描述
真假是针对真实值 y-true 和预测值 y-pred 之间的区分

正负是针对 真实值y-true中的正样本positive 和负样本negtive 之间的区分

反复读读 :
在这里插入图片描述

我们可以看出,当正负样本的分布发生变化时, ROC曲线的形状能够基本保持不变。

AUC

auc 是 roc 曲线下的面积

ROC和P-R曲线的不同

将测试集中的负样本数量增加10倍后的曲线图。可以看出:ROC曲线有一个特点, 当正负样本的分布发生变化时, ROC曲线的形状
能够基本保持不变, 而P-R曲线的形状一般会发生较剧烈的变化。

在这里插入图片描述

两者的选择

  • 如果研究者希望更多地看到模型在特定数据集上的表现, P-R曲线则能够更直观地反映其性能。
  • ROC曲线能够尽量降低不同测试集带来的干扰, 更加客观地衡量模型本身的性能。

标签:曲线,ROC,--,模型,样本,No.3,精确,召回,百面
来源: https://blog.csdn.net/qsx123432/article/details/122390752

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有