一、损失函数和代价函数、目标函数的区别和练习
在机器学习中，经常会碰到 Loss Function、Cost Function 和 Objective Function，这三个术语，我们要了解他们之间的区别和联系。
（1）损失函数（Loss Function）通常是针对单个训练样本而言，给定一个模型输出 y' （预测值）和一个真实的y，损失函数输出一个实值
（2）代价函数（Cost Function）通常是针对整个训练集的总损失
（3）目标函数（Objective Function）表示任意希望被优化的函数，用于机器学习领域和非机器学习领域
一句话总结三者的关系就是：A loss function is a part of a cost function which is a type of an objective function。
二、损失函数的类别
通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。在分类或者回归问题中，通常使用损失函数（代价函数）作为其目标函数。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损失函数不一样。
损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。通常表示为如下：
其中，前面的均值项表示经验风险函数，L表示损失函数，后面的是正则化项（regularizer）或惩罚项（penalty term），它可以是L1、L2或者其他正则函数。整个式子表示要找到使得目标函数最小的值
（1）均方差（Mean Squared Error (MSE）损失（Mean Squared Error Loss）是机器学习、深度学习回归任务中最常用的一种损失函数，也称为 L2 Loss。其基本形式如下
从直觉上理解均方差损失，这个损失函数的最小值为 0（当预测等于真实值时），最大值为无穷大。下图是对于真实值 y=0 ，不同的预测值 [-1.5,1.5] 的均方差损失的变化图。横轴是不同的预测值，纵轴是均方差损失，可以看到随着预测与真实值绝对误差 的增加，均方差损失呈二次方地增加。
实际上在一定的假设下，我们可以使用最大化似然得到均方差损失的形式。假设模型预测与真实值之间的误差服从标准正态分布(高斯分布)（ μ=0，σ=1 ），则给定一个 xi , 模型输出真实值yi 的概率为
进一步我们假设数据集中 N 个样本点之间相互独立，则给定所有 输出所有真实值 的概率，即似然 Likelihood，为所有
的累乘，
通常为了计算方便，我们通常最大化对数似然 Log-Likelihood，
去掉与
无关的第一项，然后转化为最小化负对数似然 Negative Log-Likelihood
可以看到这个实际上就是均方差损失的形式。也就是说在模型输出与真实值的误差服从（正态分布）高斯分布的假设下，最小化均方差损失函数与极大似然估计本质上是一致的，因此在这个假设能被满足的场景中（比如回归），均方差损失是一个很好的损失函数选择；当这个假设没能被满足的场景中（比如分类），均方差损失不是一个好的选择
（2）平均绝对误差（Mean Absolute Error Loss）
基本形式和原理：
标签：Function,似然,函数,Loss,方差,损失 来源： https://www.cnblogs.com/cgmcoding/p/13606876.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。