标签：编码 Discriminative 样貌 模块 生成 Joint Learning 图像 行人

Introduction

（1）Motivation：

当前提出的GAN方法存在生成器和reid判别模型分离，reid模块直接用生成的图像进行训练，效果受到局限。

 

（2）Contribution：

作者提出了一个联合判别、生成学习的网络：DG-Net。该策略引入了生成模块，将每个行人图像编码到两个空间：样貌空间编码行人的外貌和其它相关的语义信息；结构空间编码行人的几何、位置结构等信息，如下表所示：

每个行人图像在保持样貌空间不变的情况下，结合其它行人的结构空间，生成其它姿态、背景的行人图像，如下图的行所示；与之相反，每个行人图像保持结构空间不变，结合其它行人的样貌特征，如下图的列所示。通过这种策略，生成了高质量的行人图像。

 

Method

 

（1）生成模块：

假设真实图像和标签为：和，其中 N 为图像的数量，，K为数据包含的行人ID数量。给定两个真实图像和，生成模块通过对换样貌编码和结构编码，生成另外两幅图像，包括样貌编码器和结构编码器，再通过解码器还原出生成的图像，判别器 D 用于判断图像是生成的还是真实的。当 i = j 时，生成器可以被视为自编码器，即。为了减少样貌编码对于提取结构编码的影响，在输入

之前对图片进行灰度化处理。

生成模块采用如下两种处理：

① Self-identity generation：

给出一张图片，生成模块首先学习如何重构自身图片，采用了像素损失：

将图片的结构放入同一个行人的图片上，损失函数为：

判别器的ID损失为：

 

② Cross-identity generation：

对于两个不同ID的图片，损失函数为：

生成图像的ID损失函数为：

引入生成对抗损失函数，使得生成的数据更符合真实数据分布：

 

（2）判别模块：

① 初级特征学习：

将原始数据训练的模型作为教师模型，其预测结果为，提供软标签。提出的优化模型作为学生模型预测的结果为。损失函数为：

其中 K 为ID的数量。

读到这段的时候我产生了一个困惑：A穿着B的衣服，Label算是A还是B呢？

我的理解是，这里采用了教师模型作为软标签，不再确切给出是A还是B，而是从样貌上直观评估像A的概率和像B的概率。

 

② 细粒度特征挖掘：

将穿着不同，但结构相同的图片作为同一类，从而提取更细粒度的特征。损失函数为：

 

（3）优化算法：

总损失函数：

 

Experiment

（1）实验设置：

① 数据集设置：Market-1501、DukeMTMC-reID、MSMT17；

② 实验细节：采用ResNet50作为骨干网络；初级特征和细粒度特征均为512维向量；编码器输出的编码为128*64*32，包含4个卷积层和4个残差块；解码器为4个残差块接4个卷积层；判别器采用多尺度PatchGAN，采用三种输入图像的尺寸：64*32，128*64，256*128；测试仅采用样貌编码器作为特征提取，得到两个512维的向量进行concat；

③ 参数设置：的训练参数：学习率 = 0.002，momentum = 0.9；的训练：优化器采用Adam，学习率 = 0.0001，。

 

（2）实验结果：

标签：编码,Discriminative,样貌,模块,生成,Joint,Learning,图像,行人
来源： https://www.cnblogs.com/orangecyh/p/12730684.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。