#On the Integration of Optical Flow and Action Recognition

PAN的参考文献之一，介绍了一些研究思路，以及光流对行为识别准确率影响最大的部分是边缘信息。

#摘要

文章深入研究了为什么光流对行为识别是有帮助的、光流方法的什么因素影响到了行为识别的准确率以及如何做得更好[1]。

论文通过不同的光流算法和输入变换来探索上述问题，得到以下结论：

  1. 光流对于行为识别的帮助在于它的外观不变性，不会对颜色敏感。
  2. 光流本身的精度与行为识别分类的准确性之间没有相关性。
  3. 光流的边缘信息和小位移对行为识别的分类相关。
  4. 通过分类损失来（优化）训练光流可以提高行为识别分类准确性。
  5. 使用行为识别分类误差来训练得到的光流，与普通的光流的差异主要集中在人体的内部与边缘区域。

边缘1
边缘2
边缘3

#假设一：两帧之间的光流是一个很好的视频分类特征

What makes motion such a useful feature for video classification?

通过随机打乱光流帧来观察准确率发现光流的轨迹不是主要的影响因素，因为一些静态的运动信息已经编码在里面了。

于是论文又做了一个实验，将计算光流的帧序也打乱，得到的结果是准确率下降的很多但仍然比没用光流来的差。

在将外观信息进行改变后，光流只下降了1%但传统的图像下降了50%，得出的结论是，光流的效果来源于他的外观不变性。

#个人观点

论文中会引用这篇文章的对于光流的一个结论，但是这五个结论可能并不适用于现在的情况，后面有用到再来补，不然应该不会详细看了，重点全在这五个结论里，这个摘要写的感觉就很棒。

#相关链接

  1. 感觉第三点其实好像没怎么提。看了别人的笔记，大家觉得是优化光流。 ↩︎