《Zero-Shot Cross-Media Embedding Learning With Dual Adversarial Distribution Network》论文学习

2021-03-23 20:59:28 阅读：216 来源： 互联网

标签：嵌入 Shot Media 生成 GAN Learning 类别 MMD Se

abstract

提出双重对抗分销网络（DADN），以学习常见的嵌入并从不同类别的词嵌入中探索知识。提出了具有最大均值差异准则的分布匹配与双重GAN结合的方法，从而增强了普通嵌入和类别词嵌入之间的分布匹配，提出了具有媒介间损失和四元损失的对抗媒介间度量约束，进一步对媒介间相关信息进行建模，提高了语义排序能力。

OUR DADN APPROACH

在这里插入图片描述
其中Se-GAN和Re-GAN的结构如下所示：

对于每种媒体类型，首先提取原始表示，然后Se-GAN从原始表示生成嵌入，然后Re-GAN转换生成的嵌入以将原始数据表示重构为双重过程。在对抗性训练过程中，均采用最大中间差异（MMD）准则和媒体间指标约束对二者进行了优化。

A problem Definition

对于数据集值利用Dsd 可以看到的类别数据集
test
Duq----》Dud
Dsq----》Dsd

Se-GAN for Common Embedding Generation

通过VGGNet模型提取图像表示，并通过Doc2Vec模型提取文本表示。我们的Se-GAN采用监督学习策略，将类别词嵌入作为监督信息，为了在生成的通用嵌入中建造有效的语义信息。
通过预训练的Word2Vec模型提取类别词嵌入, Se-GAN可以在图像或文本实例的条件下在语义空间中生成公共嵌入。

the detail of Se-GAN
1) Distribution Matching With MMD Criterion
此外，我们将生成的通用嵌入作为伪造，将类别词嵌入视为真实，以捕获语义空间的分布。
受启发的具有最大平均差异（MMD）准则的GAN。给定两个分布P和Q，以及一个核k，则MMD距离定义为

在这里插入图片描述

MMD损失通过判别模型中的每一层增强了通用嵌入和类别词嵌入之间的分布匹配，从而可以将知识从词嵌入转移到模型中可见和不可见类别的类别语义信息。
2) Adversarial Inter-Media Metric Constraint:
媒体间的区别性损失将从其他媒体生成的普通嵌入作为假数据，媒介间的生成损失将其他媒介产生的共同嵌入视为真实的，
在这里插入图片描述

媒体间的损失试图使生成的公共嵌入无法与哪种媒体类型区分开，从而增强了不同媒体类型之间的数据相关性。

度量约束可以保留跨媒体的相对相似度，从而提高通用嵌入的相似度排名能力，从而提高检索的准确性。

Re-GAN for Representation Reconstruction

Re-GAN的判别损失将原始表示fi和ft视为真实，而重建表示假，定义为
在这里插入图片描述

总结，这一片内容很足，loss较复杂，需要慢慢品味，可以跑通源码试一下，仔细了解一下在做笔记，体会会更深！

对网络中Gan的理解还不够深，需要再体会！

标签：嵌入,Shot,Media,生成,GAN,Learning,类别,MMD,Se
来源： https://blog.csdn.net/uestc_huhu/article/details/115135732