标签：yi xi 定义 Bregman sum Divergence 散度
F-散度已经可以表达我们提到的所有散度，目前为止它是最通用的散度形式。但很多文章也会出现另一种叫做Bregman的散度，它和F-散度不太一样，是另一大类散度。
我们以欧几里得距离举例，即
n
n
n维空间中的欧几里得距离：
d
(
x
,
y
)
=
∑
i
=
1
n
(
x
i
−
y
i
)
2
d(x, y)=\sqrt{\sum_{i=1}^n(x_i-y_i)^2}
d(x,y)=i=1∑n(xi−yi)2
我们将其平方：
d
2
(
x
,
y
)
=
∑
i
=
1
n
(
x
i
−
y
i
)
2
d^2(x, y)=\sum_{i=1}^n(x_i-y_i)^2
d2(x,y)=i=1∑n(xi−yi)2
如果我们定义内积
<
x
,
y
>
=
∑
i
−
1
n
x
i
y
i
<x, y>=\sum_{i-1}^nx_iy_i
<x,y>=∑i−1nxiyi和欧式模
∣
∣
x
∣
∣
=
<
x
,
x
>
||x||=\sqrt{<x, x>}
∣∣x∣∣=<x,x>
，则上式可以写为如下形式：
d
2
(
x
,
y
)
=
∑
i
=
1
n
(
x
i
−
y
i
)
2
=
<
x
−
y
,
x
−
y
>
=
∣
∣
x
∣
∣
2
−
(
∣
∣
y
∣
∣
2
+
<
2
y
,
x
−
y
>
)
d^2(x, y)=\sum_{i=1}^n(x_i-y_i)^2=<x-y, x-y>=||x||^2-(||y||^2+<2y, x-y>)
d2(x,y)=i=1∑n(xi−yi)2=<x−y,x−y>=∣∣x∣∣2−(∣∣y∣∣2+<2y,x−y>)
注意到，
2
y
2y
2y是
y
2
y^2
y2的导数，因此上式的后一项
(
∣
∣
y
∣
∣
2
+
<
2
y
,
x
−
y
>
(||y||^2+<2y, x-y>
(∣∣y∣∣2+<2y,x−y>是函数
f
(
z
)
=
∣
∣
z
∣
∣
2
f(z)=||z||^2
f(z)=∣∣z∣∣2在
y
y
y点的切线在
x
x
x处的取值。所以均方欧几里得距离的几何描述便是欧式模函数在点
x
x
x和其在
y
y
y点切线在点估计的差。如下图绿线所示：
那么一个很自然的想法就是把这个定义拓展，即对任意
R
n
R^n
Rn的函数
f
(
x
)
f(x)
f(x)，我们都可以定义：
d
(
x
,
y
)
=
f
(
x
)
−
(
f
(
y
)
+
<
∇
f
(
y
)
,
x
−
y
>
)
d(x, y)=f(x)-(f(y)+<\nabla f(y), x-y>)
d(x,y)=f(x)−(f(y)+<∇f(y),x−y>)
若 f ( x ) f(x) f(x)是凸函数，则可以保证 d ( x , y ) ≥ 0 d(x, y)\geq0 d(x,y)≥0，上式也是Bregman散度（Bregman Divergence）的定义。
和F-散度类似，Bregman散度也是一大类散度的通用表达形式，具体的，根据
f
(
x
)
f(x)
f(x)取不同的函数，它可以表示不同的散度，其中KL散度也是它的一个特例：
标签：yi,xi,定义,Bregman,sum,Divergence,散度 来源： https://blog.csdn.net/hy592070616/article/details/122395719
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。