特征集的贝叶斯误差及贝叶斯最优化分类器
贝叶斯误差，在特征分布确定（一般没法知道）的情况下，描述了模型所能达到的最好分类结果；在模型拟合能力完美的情况下，衡量了当前采样特征集对真实特征分布的采样误差（不确定是不是可以用这个词）。
贝叶斯误差
Wiki定义：贝叶斯误差（bayes error rate)是指在现有特征集上，任意可以基于特征输入进行随机输出的分类器所能达到最小误差。也可以叫做最小误差。
直观上可以这么理解，贝叶斯误差是在给定特征集的情况下，假设数据无限（且准确），依靠统计所能得到的最小误差。它是我们通过增加数据集/优化数据集分布/提升模型学习能力/防止过拟合等等措施后所能达到的误差下限。如果当前算法已经能达到接近贝叶斯误差的误差，则在不动特征（数据）的前提下我们已经没有继续优化的意义了。
我的理解，产生贝叶斯误差有几点原因：1，特征集规模有限，不足以描述真实分布。2，模型输出的是唯一分类结果。例如，假设真实世界中90%长发为女性，10%为男性（这是已知的真实分布）；已知一人是发长，预测性别。由于只能预测男/女。此时即使你知道真实分布，预测为女，也会有10%的误差。这就是贝叶斯误差。
贝叶斯最优分类器
下面描述了单个样本X，被分类为Ci所产生的期望损失。根据其真实类别Cj，期望损失计算公式：
其中后验概率P（c |x）难以直接获得，所以机器学习所实现的是基于有限特征集，尽可能准确地估计后验概率。
参考：https://www.zhihu.com/question/263546637
https://zhuanlan.zhihu.com/p/42991859
标签：误差,真实,特征,贝叶斯,分类器,分布,最优化 来源： https://blog.csdn.net/MinyounZhang/article/details/116153248
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。