标签：score 阈值 Recall 模型 曲线 Precision predictions 调优 test
阈值调优是数据科学中一个重要且必要的步骤。它与应用程序领域密切相关，并且需要一些领域内的知识作为参考。在本文中将演示如何通过阈值调优来提高模型的性能。
用于分类的常用指标
一般情况下我们都会使用准确率accuracy来评价分类的性能，但是有很多情况下accuracy 不足以报告分类模型的性能，所以就出现了很多其他的指标：精确度Precision、召回率Recall、F1 分数F1 score和特异性Specificity。除此以外，还有 ROC 曲线、ROC AUC 和 Precision-Recall 曲线等等。
让我们首先简单解释这些指标和曲线的含义：
精确度Precision：所有正例中真正正例的数量。P=TP/(TP+FP)
召回率Recall：正例数超过真正例数加上假负例数。R=TP/(TP+FN)
F1 分数F1 score：Precision 和 Recall 之间的调和平均值。
特异性Specificity：真负例的数量超过真负例的数量加上假正例的数量。Spec=TN(TN+FP)
(ROC) 曲线：该曲线显示了真正例率和假正例率之间的权衡。代表模型的性能。
ROC曲线下面积（AUC）：ROC曲线下面积。如果这个面积等于 1，我们就有了一个完美的分类器。如果它等于 0.5，那么就是一个随机的分类器。
Precision-Recall曲线：这条曲线显示了不同阈值下的精度和召回值。它用于可视化 Precision 和 Recall 之间的权衡。
一般来说，我们必须考虑所有这些指标和曲线。为了将这些内容显示在一起查看，这里定义了一个方法：
def make_classification_score(y_test, predictions, modelName):tn, fp, fn, tp = confusion_matrix(y_test, predictions).ravel() # ravel() used to convert to a 1-D arrayprec=precision_score(y_test, predictions)rec=recall_score(y_test, predictions)f1=f1_score(y_test, predictions)acc=accuracy_score(y_test, predictions)# specificityspec=tn/(tn+fp)score = {'Model': [modelName], 'Accuracy': [acc], 'f1': [f1], 'Recall': [rec], 'Precision': [prec], \'Specificity': [spec], 'TP': [tp], 'TN': [tn], 'FP': [fp], 'FN': [fn], 'y_test size': [len(y_test)]}df_score = pd.DataFrame(data=score)return df_score
“预测概率”技巧
当我们测试和评估模型时，将预测的 Y 与测试集中的 Y 进行比较。但是这里不建议使用 model.predict(X_test) 方法，直接返回每个实例的标签，而是直接返回每个分类的概率。例如sklearn 提供的 model.predict_proba(X_test) 的方法来预测类概率。然后我们就可以编写一个方法，根据决策阈值参数返回每个实例的最终标签。
完整文章：
https://avoid.overfit.cn/post/81f1646e48c341358391a9a1d3a2dcfd
标签：score,阈值,Recall,模型,曲线,Precision,predictions,调优,test 来源： https://www.cnblogs.com/deephub/p/16699225.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。