标签：特征向量 2020.2 概述 Softmax 类别 距离 下图 softmax

一、softmax函数简介

    softmax作为输出层的激励函数，在机器学习中常被看作是一种多分类器。通俗的意思就是，将一个物品输入，得出其中可能属于的类别概率（soft），最后得出最大可能性的判别（max）。下图为softmax的具体计算流程：

    其中，3、1、-3为输入值，计算以e为底的幂，之后求各类别之和，每个类别的输出值为
，保证了各个类别输出值总和 ≤ 1（即：）。
    比如下图所,j假设有7张图，分别为飞机、汽车、轮船、猫、狗、鸟、太阳，则图像的分类标签如下表示：

    这种激励函数通常用在神经网络的最后一层作为分类器的输出，有7个节点就可以做7个不同类别的判别，有1000个节点就可以做1000个不同样本类别的判断。

二、softmax函数优劣性分析

优点：不同类之间分类准确
    softmax比hardmax（本文暂且称为，即利用输入本身的值计算输出值：）更容易实现one-hot目标，即放大某一类可能性与其他类的差值，方便实现不同类之间的分类判定。两者差异性见下图：


缺点：类间紧凑，不满足进行人脸识别中特征向量对比需求
    人脸识别中特征向量相似度计算，常用欧式距离（L2 distance）和余弦距离（cosine distance），下图为Softmax Loss训练CNN，MNIST上10分类的2维特征映射可视化：

下面讨论特征向量相似度对比情况：

1. 欧式距离：
       欧式距离越小，向量相似度越高。可能同类的特征向量距离（黄色）比不同类的特征向量距离（绿色）更大
2. 余弦距离：
       夹角越小，余弦距离越大，向量相似度越高。可能同类的特征向量夹角（黄色）比不同类的特征向量夹角（绿色）更大

总结

1. Softmax训练的深度特征，会把整个超空间或者超球。如果按照分类个数进行划分，可以保证不同类别是可分的，适用于多分类任务如MNIST和ImageNet，因为测试类别必定在训练类别中。
2. 但Softmax并不要求类内紧凑和类间分离，这一点非常不适合大数据量人脸识别任务，因为训练集的1W人数，相对测试集整个世界70亿人类来说，非常微不足道，而我们不可能拿到所有人的训练样本，并且还要求训练集和测试集不重叠。
3. 如果需要改造Softmax，除了保证可分性外，还应做到特征向量类内尽可能紧凑，类间尽可能分离。

三、学习总结

    之前仅仅使用过softmax做一些数据处理，但是对它的原理概念总是记忆不清，今天特总结记录一下。

参考博客：https://blog.csdn.net/xiaosongshine/article/details/88826715

标签：特征向量,2020.2,概述,Softmax,类别,距离,下图,softmax
来源： https://www.cnblogs.com/somedayLi/p/12275896.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。