论文原称：R-C3D: Region Convolutional 3D Network for Temporal Activity Detection（2017）
主要贡献：
1.提出一个包括活动候选区和任意长度活动的分类的端到端模型。如下图所示
2.提出在候选区生成和分类部分共享全卷积C3D特征，实现了比当前模型快5倍的速度。
论文主要从Faster R-CNN受启发而来，论文大部分idea都是Faster R-CNN中提出的（看这篇论文的时候，我真是深感生不逢时啊），作者将2D目标检测的方法用到了时间卷积网络，因此出现了R-C3D。
R-C3D模型框架
如上图所示，R-C3D由3部分组成，一个共享的3D ConvNet特征提取器，一个时间候选段（temporal proposal stage）生成部分，一个活动分类及调整部分。
模型输入是3xLxHxW的RGB视频帧，先经过3D ConvNet特征提取网络，再由temporal proposal stage 生成候选区域，候选区域的连续帧将进行分类，并调整候选区域。
关于共享的3D ConvNet特征提取器没有过多介绍，主要采取C3D网络的五层卷积层，第五层输出的尺寸是512x (L/8) x (H/16) x (W/16)。512是feature map 的通道数，H和W是112，L是任意长度的，受内存限制。
Temporal Proposal Subnet
这个部分的主要内容是实现模型对任意长度候选段的预测。
由于第五层输出了长度为L/8的时间位置（temporal locations）（指的是时间维度上的长度）, 这里每个位置产生K个anchor片段（对anchor不懂的，直接理解为K个片段也可以），每个anchor片段都有固定但不同的比例，即总共产生的anchor片段是L/8*K个。
然后，通过大小为（1xH/16xW/16）的3D最大池化对空间维度上进行下采样（从H/16xW/16 到1x1 ）产生时间特征图Ctpn (R512xL/8 x1x1)，Cptn中每个位置的512维的向量用来预测一个中心位置和每个anchor片段长度{Ci, Li}的相对偏移{$Ci, $Li}, i属于{1, ...., K}
候选段的偏移和得分是通过在Cptn的顶端增加两个1x1x1的卷积层来预测的。
在训练阶段，通过两种方式来确定正样本，
1）与一些ground-truth活动的IoU值大于0.7；
2）与一些ground-truth活动的IoU值最大。
若IoU低于0.3，则直接认为是负样本。最后正负样本的比例为1:1.
Activity Classification Subnet
对上个阶段产生的anchor proposal片段（由于比例不一样，因此长度不一）通过3D RoI池化来抽出固定长度的候选段（长度都一样），然后对候选段进行分类和边界回归。
对于那些生成的anchor 候选段，互相覆盖率比较高的，且置信度比较低的，使用非极大值抑制（NMS）直接去除，NMS的阈值设为0.7。
关于3D RoI，其作用就是从任意的L，H，W的图输出一个固定大小的图。
例如，输入的图的尺寸是 LxHxW, 需要输出的大小为Ls x Hs xWs。只需要一个大小为L/Ls, H/Hs, W/Ws的最大池化操作即可。
回到本文，在经过3D RoI池化后输入两个全连接层，经过两个全连接层后进入分类和候选段回归部分，分类和回归又是各自两个全连接层。（具体看图2）
Optimization
分类使用softmax, 回归使用smooth-L1 loss ,
关于smooth-L1 loss如下：
因此整个模型的目标函数为：
前面部分是分类的部分。后面的部分是回归。
关于回归部分，ti表示预测的相对偏移量，ti*表示ground truth片段转到anchor片段的转移坐标(这句话比较难理解，这里anchor片段指的是对时间维度进行了卷积操作后（变了长度）的部分而ground truth指的是原视频的片段，（感觉这个anchor不是yolo里的那个anchor了，yolo里的anchor指的是原图片下的点）)。
其坐标 ti={$Ci, $Li }，ti 和ti* 计算如下：
带*的Ci是ground truth的中心，Ci是anchor 的中心，带*的Li是ground truth的长度，Li是anchor的长度。
为防止这部分没讲清楚，把论文原文相关部分贴在下面
到此，R-C3D的主要内容就讲完了，剩下的是一些实验，如IoU阈值取多少合适，论文进行了不同阈值效果对比，发现取0.5比较好，然后还测试了阈值取0.5时在THUMOS14数据集上各个类别的AP值，以及与其他模型取得的AP值对比。
最后是R-C3D与其他SOTA模型的一些map与速度对比。具体如下：
如有错误或不合理之处，欢迎在评论中指正。
欢迎关注公众号“CV技术指南”，主要进行计算机视觉方向的论文解读，最新技术跟踪，以及CV技术的总结。
标签：候选,片段,C3D,检测,长度,anchor,3D 来源： https://www.cnblogs.com/wxkang/p/13937295.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。