首页 > 其他分享> 文章详细

KL散度（距离）和JS散度（距离）

2022-05-21 14:03:19 阅读：209 来源： 互联网

标签：divergence 散度距离 KL scipy np JS

两者都可以用来衡量两个概率分布之间的差异性。JS散度是KL散度的一种变体形式。

KL散度：
也称相对熵、KL距离。对于两个概率分布P和Q之间的差异性（也可以简单理解成相似性），二者越相似，KL散度越小。

KL散度的性质：
●非负性。即KL散度大于等于零。

●非对称性。即运算时交换P和Q的位置，得到的结果也不一样。（所以这里严格来讲也不能把KL散度称为KL距离，距离一定符合对称性，所以要描述准确的话还是建议用KL散度来表述）

离散分布公式：

连续分布公式：

python代码实现：

#KL_divergence
import numpy as np
import scipy.stats
P=np.array([1/4,1/2,1/4,1/4])
Q=np.array([1/3,1/3,1/6,1/6])
def KL_divergence(P,Q):
return scipy.stats.entropy(P,Q)
print(KL_divergence(P,Q)) # 0.04369212068196553
print(KL_divergence(P,Q)) # 0.04369212068196553

JS散度：
JS散度是KL散度的一种变体，与KL散度相似，P和Q越相似，JS散度越小。定义为KL散度的组合，克服了KL散度的不对称性。

JS散度的性质：
●JS散度的值域范围是[0,1]，完全相同为0，完全相反为1。相较于KL，对相似度的判别更确切了。

●对称性。通过公式可以看出交换了P和Q的位置计算结果仍然一样。（个人认为这种JS散度的出现就是为了解决KL散度不对称的问题）

python代码实现：

#JS_divergence
import numpy as np
import scipy.stats
P=np.array([1/4,1/2,1/4,1/4])
Q=np.array([1/3,1/3,1/6,1/6])
R=np.array([1/10,3/10,4/10,2/10])
def JS_divergence(P,Q):
M=(P+Q)/2
return 0.5*scipy.stats.entropy(P, M)+0.5*scipy.stats.entropy(Q, M)
print(JS_divergence(P,Q)) # 0.011598863066818382
print(JS_divergence(Q,P)) # 0.011598863066818382
print(JS_divergence(R,R)) # 0.0

————————————————
版权声明：本文为CSDN博主「Zhaohui_Zhang」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Zhaohui_Zhang/article/details/120546731

标签：divergence,散度,距离,KL,scipy,np,JS
来源： https://www.cnblogs.com/ai-ldj/p/16294961.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

KL散度（距离）和JS散度（距离）