基本概念
损失函数：用来衡量预测结果和真实结果之间的差距，其值越小，代表预测结果和真实结果越一致。通常是一个非负实值函数。通过各种方式缩小损失函数的过程被称作 优化。损失函数记作 L(Y,f(x))。
损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。
0-1损失函数：预测值和实际值精确相等则“没有损失”为0，否则意味着“完全损失”为1。
但是相等这个条件太过严格，因此可以放宽条件，即满足
可以认为相等。
比如，对于相同的预测结果，两个损失函数严格程度不同。设T=0.5，则有：
满足，所以，L'的严格程度就降低了，所以没有损失。
绝对值损失函数(Absolute LF)：预测结果与真实结果差的绝对值。简单易懂，但是计算不方便。
log对数损失函数（Logarithmic LF）或 对数似然损失函数（log-likehood loss function）：对数函数具有单调性，在求最优化问题时，结果与原视目标一致。可将乘法转化为加法。简化计算：
平方损失函数（Quadratic LF）：预测结果与真实结果差的平方。
优势：
- 每个样本的误差都是正的，累加不会被抵消
- 平方对于大误差的惩罚大于小误差
- 数学计算简单、友好，导数为一次函数
指数损失函数（Exponential LF）：单调性、非负性的优良性质，使得越接近正确结果误差越小：
折叶损失函数（Hinge LF）：也称铰链损失，对于判定边界附近点的惩罚力度较高，常见于SVM
感知损失(perceptron loss)函数：
是Hinge损失函数的一个变种，Hinge loss对判定边界附近的点(正确端)惩罚力度很高。而perceptron loss只要样本的判定类别正确的话，它就满意，不管其判定边界的距离。它比Hinge loss简单，因为不是max-margin boundary，所以模型的泛化能力没 hinge loss强。
交叉熵损失函数 (Cross-entropy loss function)
注意公式中 表示样本，
表示实际的标签，
表示预测的输出，
表示样本总数量。
本质上也是一种对数似然函数，可用于二分类和多分类任务中。
二分类问题中的loss函数（输入数据是softmax或者sigmoid函数的输出）：
多分类问题中的loss函数（输入数据是softmax或者sigmoid函数的输出）：
标签：LF,loss,函数,结果,常见,损失,Hinge 来源： https://www.cnblogs.com/tac2664/p/15015956.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。