根据光流，为什么在图像边缘出现剧烈运动？

Question

请参见一些示例：

（（1）

（（2）

我很好奇，为什么在图像边缘处有一个大幅度的区域？ （例如第一帧的蓝色区域，第二帧的红色区域）

此外，我在框架中的静止物体周围也看到了类似的趋势。 （例如，请参见第一个图像中的标题“ RACE 9” ...并查看其周围的高强度区域）

尽管它们的移动速度不是很快，但为什么会出现这种趋势？是否因为像素被认为已移出帧而使Opt-Flow假设高运动而与之相对应？任何可能的解释将不胜感激。

Answer 1

您在第二张图片中看到的是剪刀问题。看一下底部的白色三角形，它只是白色条带的一部分。想象一下，在下一帧相机将仅向上移动一点。由于白色提示几乎与框架的边缘平行，因此白色条带与框架的底部边缘的交点将向右移动很长一段距离。这类似于剪刀，如果刀片之间的角度较小，则刀片的交点移动非常快。因此，如果您只是尝试跟随框架上底部白色三角形的运动，则会发现随着相机向上移动，它正在向右高速滑动。

通常，这种类型的问题出现在屏幕边缘附近和图像的笔直边缘上。例如，您可以将美国国旗的条纹向右或向左移动，而不会明显改变图片。这意味着标记图片的微小变化可以解释为向左或向右的大偏移。