#TDN: Temporal Difference Networks for Efficient Action Recognition

#摘要

提出了一种Motion Band-pass Module模块。

时间建模仍然是视频动作识别的难点。为了解决这一问题，本文提出了一种新的视频体系结构，即时域差分网络(TDN)，其核心是通过明确地利用时域差分算子来设计一个有效的时域模块(TDM)，从而实现对多尺度时域信息的高效动作识别。并系统评估其对短期和长期运动建模的影响。为了充分捕获整个视频的时间信息，我们的 TDN 采用了两级差分建模范式。在局部运动建模中，利用连续帧间的时域差分为二维 cnn 提供更精细的运动模式;在全局运动建模中，利用分段间的时域差分捕获长距离结构，激发运动特征。TDN 提供了一个简单的、有原则的时间建模框架，可以用现有的 cnn 实例化，并且只需要少量额外的计算成本。我们 TDN 提出了一种新的先进的事情 VI 和 V2 数据集,并与动力学- 400 数据集的最佳性能,我们进行深入消融研究和 TDN plor 可视化结果,希望提供有见地的分析建模时间差异。我们在https://github.com/MCG-NJU/TDN上发布了代码。

#相关工作

#时序差分表征

主要有两种方式，RGB差分和特征差分。

作者说这些方法只是简单地进行了差分，相比3D卷积而言，获得的研究关注更少。

simply used a simple difference operator for single-level motion extraction and received less research attention than 3D convolutions.