1.2 Softmax 回归（Softmax regression）
有一种 logistic回归的一般形式，叫做 Softmax 回归，能让你在试图识别某一分类时做出预测，或者说是多种分类中的一个.假设你不单需要识别猫，而是想识别猫，狗和小鸡，我把猫加做类 1，狗为类 2，小鸡是类 3，如果不属于以上任何一类，就分到“其它”或者说“以上均不符合”这一类，我把它叫做类 0，在这个例子中，我们将建立一个神经网络，其输出层有 4 个，或者说C个输出单元，因此n，即输出层也就是L层的单元数量，等于 4，或者一般而言等于C,我们想要输出层单元的数字告诉我们这 4 种类型中每个的概率有多大，因此这里的y^将是一个4 × 1维向量，因为它必须输出四个数字，给你这四种概率，因为它们加起来应该等于 1，让你的网络做到这一点的标准模型要用到 Softmax 层，以及输出层来生成输出,在神经网络的最后一层，你将会像往常一样计算各层的线性部分，z[l]这是最后一层的z变量，算出了z之后，你需要应用 Softmax 激活函数,首先，我们要计算一个临时变量，我们把它叫做 t，它等于
,z[l]是 4×1维的向量，t=
也是一个4×1 维向量,然后输出的a[l],
, 
。
举个例子，假设z[l]=
，我们要做的就是用这个元素取幂方法来计算t,t=
,从向量t得到向量a[l]就只需要将这些项目归一化，使总和为1,把这四个数字加起来，得到 176.3，最终a[l]=t/176.3，例如这里的第一个节点，它会输出e5/176.3=0.842,表示类 0 的概率就是 84.2%，其他依次计算，最后计算得到4×1 维向量
。从z[l]到a[l]的计算步骤，整个计算过程，其中a[l]=g[l](z[l])，从计算幂到得出临时变量t，再归一化，我们可以将此概括为一个Softmax 激活函数。
1.2 训练一个 Softmax 分类器（Training a Softmax classifier）
Softmax 回归或 Softmax 激活函数将logistic 激活函数推广到K类，而不仅仅是两类，在 Softmax 分类中，我们一般用到的损失函数是
，损失函数所做的就是它找到你的训练集中的真实类别，然后试图使该类别相应的概率尽可能地高。如果是单个训练样本的损失，J的定义是是整个训练集损失的总和，把我们的训练算法对所有训练样本的预测都加起来：
，之后使用梯度下降法，使这里的损失最小化。
标签：输出,计算,Softmax,176.3,向量,函数 来源： https://www.cnblogs.com/YY-zhang/p/15067720.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。