标签：函数 max sum Softmax np sigma 溢出

定义

在数学，尤其是概率论相关领域中，Softmax函数，或称归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量\(z\)压缩到另一个K维向量\(\sigma(z)\)，使得每个元素都在（0，1）之间，并且所有元素的和为1。Softmax函数计算方式如下：
\(\sigma(\mathbf{z})_j = \frac{e^{z_j}}{\sum_{k=1}^K e^{z_k}}\) for j = 1...K

避免溢出

对于指数函数，若\(z\)很大，超过float表示范围，那么会出现上溢出；若\(z\)很小，超过有效精度表示就会获得0，如果分母为0，那么会出现下溢出。
可以通过分子分母同时除\(max(z)\)来避免上下溢出。
\(\sigma(\mathbf{z})_j = \frac{e^{z_j - max(z)}}{\sum_{k=1}^K e^{z_k - max(z)}}\) for j = 1...K
这时，指数的幂次最大为0，避免了上溢出，同时分母必定大于1，从而避免了下溢出。

代码实现

import numpy as np

z = np.array([1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0])
print(np.exp(z - np.max(z)) / sum(np.exp(z - np.max(z))))

标签：函数,max,sum,Softmax,np,sigma,溢出
来源： https://www.cnblogs.com/hyserendipity/p/16579785.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。