【视频算法解析二】I3D

[视频算法解析一] C3D算法

[视频算法解析二] I3D算法

[视频算法解析三] ECO算法

paper原文是“Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset”，链接如：https://arxiv.org/abs/1705.07750。

Introduction

网络是在Kinetics数据集上提出得，Human Action Video dataset，里面有400个 action classes，平均每个有400clips。

本文提出了一个Two-Stream Inflated 3D ConvNet，由2D卷积得那些网络在ImageNet上进行分类预训练，用在其他不同的task上，想到能不能在video上也采用这种方案，于是作者在Kinetics数据集上进行预训练，之后在HMDB-51 and UCF-101上进行fine-tuning。这种方法对于实验效果有提升，但每个model效果不同。

Action Classification Architectures

本章节把提出的I3D和之前别人得四种方法（都预训练了，除了C3D）进行比较。由于之前得网络参数原因以及缺少数据，所以他们的网络都很浅。

ConvNet+LSTM
由于2D分类网络的效果好，想到把其用在video上，但是只用那些2D卷积网络不能捕捉时空方面的信息，例如门从开到关。这里采用Inception-V1+LSTM。downsample了视频帧，从25/s到5/s。

3D卷积

3D卷积保留了时空特征，但是参数量很大，难以训练。为了比较，作者将网络缩小了些，这样才能在k40上训练。
 

Two-Stream Networks
单帧图像没有捕捉到low-level motion,参考Simonyan and Zisserman的网络输入单个图像，以及这个图像的optical flow。测试的时候是输入很多个单张图，最后结果取平均，结果较好而且训练和测试方便。

3D-fused Two-stream

最后一层前，将特征送到3D卷积里去。输入网络的是相隔10帧采样的5个连续RGB帧。

Two-Stream Inflated 3D ConvNets
后面实验章节会显示optical-flow stream对于3D卷积在这上面的提升。这里用的3D卷积是简单的从2D卷积扩展来的，增加了一维时间维度，将N*N的卷积核变为N*N*N的。

从2D卷积的在Imagenet上预训练迁移到3D卷积中，首先把图片复制N次，这样一个图片就成为一个视频，就可以在其上面对3D卷积和pooling进行学习了。时间核上用几维的，就复制几次就好了。

使感受野在时间，空间，网络深度上增长   对于网络来说，pooling和conv的strdie参数设定很重要，影响了特征的感受野。对于水平和垂直方向的pooling kernels and strides应该一致，对于时间维度的来说，合并的过快会导致不同对象的边缘融合，合并的过慢就丢失了场景动态信息。对于视频每秒取25帧，网络结构如下图。

双流网络 另一边是输入optical flow，两个网络分开训练，最后inference的时候取平均结果。