标签：Bilinear 信息 感知机 双线性 操作 序列 Modeling Approximated 推理
Approximated Bilinear Modules for Temporal Modeling
文章来自ICCV2019，做的视频的行为识别。
作者说两个问题：
1.时间上的线索都是精细颗粒度的。
2.序列模型需要推理。
对此，作者提出：
1.一个近似双线性的操作，并起可以reusing pretrained parameters.（第一次读到这里，其实不明白和精细颗粒度有什么关系，后面有解释。。。）
2.将帧特征分为静止和动态的两种，提高效率（思考一下，分成两种就比较高效，这种高效潜藏一种推理。）
看一下为什么双线性操作可以解决fine-grained问题：
这里给出的原因就是在 细分类任务当中，这个双线性操作很有用，所以我们可以用这种方法来捕捉这种精细的信息。
记下来就是第二个点，这个推理是不是我自己猜测的那样呢？答案是否定的。
先翻译翻译：
“VQA是一个需要文理和视觉推理的任务，当前最先进的技术解决这类办法就是双线性模型，所以这就启发我们去用双线性模型来做时间序列的推理。”
嗯。。。。
好像也没毛病？
不过看到这里还是好奇具体操作是啥？会不会和普通的双线性有什么区别？还是有期待在里头。
相关工作中再次提到将双线性操作融入到普通的卷积当中。
我们来看看怎么做的，先看传统的双线性：
上述过程就很清晰明了，两个向量直接做外积，会得到一个矩阵，拉成向量，最后再权重映射，搞定。
那么本文是如何近似的呢？看下面的定义：
就是拆解一下，先做两个映射，然后对应元素相乘，最后再映射。
一个很妙的解释：
利用约束去除ｙ的影响，加入非线性就是两层的多层感知机，相当于ＡＢＭ是对感知机的推广，感知机是ＡＢＭ的特例，这种解释特别招人喜欢。
操作清楚了，接下来就简单了，因为是时间序列嘛，怎么双线性呢？可以相邻两个做（ＡＢＭ－Ｓ），也可以相邻好几个拼在一起做（ＡＢＭ－Ｃ），还可以把每一帧的内容分为静态和动态之后拼接去做。前两个好理解，第三个怎么说呢？
先看这个假设：
完了之后去除静态信息，就是保留一份静态信息，因为假设三份信息是相同的，那只保留中间的，前后的只保留动态信息。
到这里，如何在序列里用双线性其实已经结束了。
但前面提到过，还有一个reusing pretrained parameters.
这个到底怎么弄呢？
先回忆一下前面讲过的，多层感知机那个约束，放开加了的约束就是双线性，那保留之前的权重，再加一个结构相同的模块，然后对应元素相乘，最后继续操作就是了。这个思路我觉得是我没想到，且有意思的地方。
这也解释了作者为什么要和感知机联系起来，并且解释约束
视频帧抽取的技巧吧算是，先切割，完了每部分取一个，作者认为这样损失信息太多，那就在每一部分多取几张：
binqiang2wang
发布了144 篇原创文章 · 获赞 53 · 访问量 40万+
私信
关注
标签：Bilinear,信息,感知机,双线性,操作,序列,Modeling,Approximated,推理 来源： https://blog.csdn.net/m0_37052320/article/details/103999002
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。