标签：Mutual via cdot vi ui Embedding rm mathcal MEAN
总结
利用生成对抗网络实现无监督的二部图嵌入方法，聚合时先聚合二跳邻居到一跳再聚合到自己身上以规避不同类型的问题
二部图嵌入方式
- 随机游走法
- 重构法，包含协同过滤和特征聚合
本文的重点
以前的算法都只停留在比较局部的范围内处理信息，这篇提出的模型可以提取整体的属性，包含同构顶点间的社区结构和异构顶点的远程依赖关系。呈现的形式是顶点嵌入。
互信息最大化
定义：
I
(
X
;
Y
)
=
D
K
L
(
p
(
x
,
y
)
∣
∣
p
(
x
)
p
(
y
)
)
=
E
p
(
x
,
y
)
[
log
p
(
x
,
y
)
p
(
x
)
p
(
y
)
]
I(X;Y)=D_{KL}(p(x,y)||p(x)p(y))=\mathbb{E}_{p(x,y)}\left[ \log\frac{p(x,y)}{p(x)p(y)} \right]
I(X;Y)=DKL(p(x,y)∣∣p(x)p(y))=Ep(x,y)[logp(x)p(y)p(x,y)]
二部图编码器
二部图中直接用一跳邻居聚合肯定有问题，因此可以先将两跳邻居聚合到一跳中，再聚合到目标节点中：
v
^
j
k
=
δ
(
W
^
v
k
⋅
M
E
A
N
(
{
u
i
k
−
1
:
u
i
∈
N
(
v
j
)
}
)
)
\hat{v}^k_j = \delta(\hat{W}^k_v \cdot {\rm MEAN}(\{u^{k-1}_i:u_i \in \mathcal{N}(v_j)\}))
v^jk=δ(W^vk⋅MEAN({uik−1:ui∈N(vj)}))
u
ˉ
i
k
=
δ
(
W
ˉ
u
k
⋅
M
E
A
N
(
v
^
j
k
:
v
j
∈
N
(
u
i
)
)
)
\bar{u}^k_i=\delta(\bar{W}^k_u \cdot {\rm MEAN({\hat{v}^k_j:v_j \in \mathcal{N}(u_i)})})
uˉik=δ(Wˉuk⋅MEAN(v^jk:vj∈N(ui)))
u
i
k
=
W
u
k
⋅
[
u
ˉ
i
k
∣
u
i
k
−
1
]
u_i^k = W^k_u \cdot [\bar{u}^k_i | u^{k-1}_i]
uik=Wuk⋅[uˉik∣uik−1]
全局表示
p
u
=
M
E
A
N
(
{
u
i
:
u
i
∈
U
}
)
,
p
v
=
M
E
A
N
(
{
v
i
:
v
i
∈
V
}
)
,
p_u={\rm MEAN}(\{u_i:u_i \in U\}),\ p_v={\rm MEAN}(\{v_i:v_i \in V\}),
pu=MEAN({ui:ui∈U}), pv=MEAN({vi:vi∈V}),
g
=
C
O
M
(
p
u
,
p
v
)
=
[
σ
(
p
u
)
∣
σ
(
p
v
)
]
g = {\rm COM}(p_u,p_v)=[\sigma(p_u)|\sigma(p_v)]
g=COM(pu,pv)=[σ(pu)∣σ(pv)]
局部表示
H-hop包围子图
对于一条边的两端u，v两个点来说
G
h
(
u
)
=
{
v
i
∣
d
i
s
(
v
i
,
u
)
≤
h
}
,
G
h
(
v
)
=
{
u
i
∣
d
i
s
(
u
i
,
u
)
≤
h
}
G^h(u)=\{v_i|dis(v_i,u)\leq h\},G^h(v)=\{u_i|dis(u_i,u)\leq h\}
Gh(u)={vi∣dis(vi,u)≤h},Gh(v)={ui∣dis(ui,u)≤h}
然后可以获得注意力权重：
α
u
,
i
=
e
x
p
{
(
W
a
⋅
v
i
)
T
⋅
(
W
a
′
⋅
u
)
}
∑
v
j
∈
G
h
(
u
)
e
x
p
{
(
W
a
⋅
v
j
)
T
⋅
(
W
a
′
⋅
u
)
}
,
v
i
∈
G
h
(
u
)
\alpha_{u,i}=\frac{{\rm exp}\{(W_a \cdot v_i)^T \cdot (W_a^{'} \cdot u)\}}{\sum_{v_j \in G^h(u)} {\rm exp}\{(W_a \cdot v_j)^T \cdot(W_{a}^{'} \cdot u)\}},\ v_i \in G^h(u)
αu,i=∑vj∈Gh(u)exp{(Wa⋅vj)T⋅(Wa′⋅u)}exp{(Wa⋅vi)T⋅(Wa′⋅u)}, vi∈Gh(u)
g
(
u
,
v
)
h
=
[
σ
(
∑
v
i
∈
G
h
(
u
)
α
u
,
i
v
i
+
u
)
∣
σ
(
∑
u
i
∈
G
h
(
v
)
α
v
,
i
u
i
+
v
)
]
g^h_{(u,v)}=[\sigma(\sum_{v_i \in G^h(u)} \alpha_{u,i}v_i+u) | \sigma(\sum_{u_i \in G^h(v)} \alpha_{v,i}u_i+v)]
g(u,v)h=[σ(∑vi∈Gh(u)αu,ivi+u)∣σ(∑ui∈Gh(v)αv,iui+v)]
信息最大化目标
基本思想是利用生成对抗网络，即一份真图，一份假图，让模型可以分辨真假。
需要建立改变部分边的corrupted graph
S
i
,
j
=
B
e
r
n
o
u
l
l
i
(
β
)
S_{i,j}={\rm Bernoulli}(\beta)
Si,j=Bernoulli(β)，伯努利分布，应该是概率变0或1
G
~
=
(
U
,
V
,
E
~
)
=
C
(
G
,
β
)
=
A
⊕
S
\widetilde{G}=(U,V,\widetilde{E}) = C(G,\beta) = A \oplus S
G
=(U,V,E
)=C(G,β)=A⊕S
其中，
β
\beta
β是腐化概率，
⊕
\oplus
⊕是异或操作
L
m
=
−
1
∣
E
∣
+
∣
E
~
∣
(
∑
i
=
1
∣
E
∣
E
G
[
log
D
(
g
(
u
,
v
)
i
h
,
g
)
]
+
∑
i
=
1
∣
E
∣
E
G
~
[
log
(
1
−
D
(
g
~
(
u
,
v
)
i
h
,
g
)
)
]
)
\mathcal{L}_m = -\frac{1}{|E| + |\widetilde{E}|}(\sum_{i=1}^{|E|}\mathbb{E}_G[\log\mathcal{D}(g^h_{(u,v)_i},g)]+\sum_{i=1}^{|E|}\mathbb{E}_{\widetilde{G}}[\log(1-\mathcal{D}(\widetilde{g}^h_{(u,v)_i},g))])
Lm=−∣E∣+∣E
∣1(∑i=1∣E∣EG[logD(g(u,v)ih,g)]+∑i=1∣E∣EG
[log(1−D(g
(u,v)ih,g))])
D
(
g
(
u
,
v
)
i
h
,
g
)
=
σ
(
(
g
(
u
,
v
)
i
h
)
T
W
b
g
)
\mathcal{D}(g^h_{(u,v)_i},g)=\sigma((g^h_{(u,v)_i})^TW_bg)
D(g(u,v)ih,g)=σ((g(u,v)ih)TWbg)
训练
L
=
λ
L
m
+
(
1
−
λ
)
L
r
\mathcal{L} = \lambda\mathcal{L}_m+(1-\lambda)\mathcal{L}_r
L=λLm+(1−λ)Lr
L
r
=
∑
(
u
,
v
)
∈
E
∑
(
u
′
,
v
′
)
∈
E
(
u
,
v
)
′
[
γ
+
ϕ
(
[
u
′
∣
v
′
]
)
−
ϕ
(
[
u
∣
v
]
)
]
+
\mathcal{L}_r=\sum_{(u,v)\in E}\sum_{(u^{'},v^{'})\in E^{'}_{(u,v)}}[\gamma + \phi([u^{'}|v^{'}])-\phi([u|v])]_+
Lr=∑(u,v)∈E∑(u′,v′)∈E(u,v)′[γ+ϕ([u′∣v′])−ϕ([u∣v])]+
其中
ϕ
\phi
ϕ为两层全连接层来获取等级，
[
x
]
+
[x]_+
[x]+表示x中的正的部分，
γ
\gamma
γ是边界。
E
(
u
,
v
)
’
=
{
(
u
′
,
v
)
∣
u
′
∈
U
}
∪
{
(
u
,
v
′
∣
v
′
∈
V
)
}
E^{’}_{(u,v)}=\{(u^{'},v)|u^{'}\in U\} \cup \{(u,v^{'}|v^{'} \in V)\}
E(u,v)’={(u′,v)∣u′∈U}∪{(u,v′∣v′∈V)}
整个模型是端到端的模型。
数据集
都是推荐系统的数据集，MovieLens，Wikipedia，DBLP。
DBLP，MovieLens测试由预测top-k推荐进行，Wikipedia为边预测。
实验
值得借鉴的地方
- 利用生成对抗网络去进行无监督学习，在标签过少的数据集上也适用
弊端
- 当图过大时，mean pooling所有顶点特征作为图特征可能会过于简单，以至于模型无法区分真假图
原文
https://dl.acm.org/doi/abs/10.1145/3437963.3441783
标签：Mutual,via,cdot,vi,ui,Embedding,rm,mathcal,MEAN 来源： https://blog.csdn.net/u013589741/article/details/122245224
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。