低分辨率移动视频中目标检测的最佳方法是什么？

Question

我正在寻找最快、更有效的方法来检测移动视频中的对象。该视频需要注意的事项：颗粒感很强，分辨率低，而且背景和前景同时移动。

注意：我正在尝试在移动视频中检测道路上移动的卡车。

我尝试过的方法：

训练 Haar Cascade - 我尝试通过拍摄所需对象的多个图像来训练分类器来识别对象。事实证明，这会产生许多错误检测或根本没有检测到（从未检测到所需的对象）。我使用了大约 100 张正片和 4000 张负片。

SIFT 和 SURF 关键点 - 当尝试使用这两种基于特征的方法时，我发现我想要检测的对象分辨率太低，因此没有足够的特征来匹配以进行准确的检测。 （从未检测到所需的物体）

模板匹配 - 这可能是我尝试过的最好的方法。这是其中最准确的，但也是最老套的。我可以使用从视频中裁剪的模板来检测特定视频的对象。但是，无法保证准确性，因为已知的只是每个帧的最佳匹配，不会对模板与帧匹配的百分比进行分析。基本上，只有当对象始终在视频中时它才有效，否则会产生错误检测。

这就是我尝试过的三大方法，但都失败了。最有效的是类似模板匹配的东西，但具有比例和旋转不变性（这导致我尝试 SIFT/SURF），但我不知道如何修改模板匹配函数。

有人对如何最好地完成这项任务有任何建议吗？

Answer 1

将光流应用于图像，然后根据流场进行分割。背景流与“物体”流有很大不同（它主要根据它是靠近还是远离你而发散或汇聚，也有一些横向分量）。

这是一个以这种方式工作的旧项目：

http://users.fmrib.ox.ac.uk/~steve/asset/index.html

Answer 2

这篇车辆检测论文使用Gabor滤波器组进行低级检测，然后使用响应创建特征空间，在其中训练SVM分类器。

该技术似乎效果很好，并且至少是尺度不变的。不过我不确定旋转。

Answer 3

不了解您的应用程序，我的初步印象是“归一化互相关”，特别是因为我记得看到过一个以车辆跟踪作为示例应用程序的纯光学互相关器。 （仅使用光学组件和车辆侧面的图像来跟踪经过的车辆 - 我希望我能找到链接。）这与“模板匹配”类似（如果不相同），您说这是可行的，但如您所知，如果图像旋转，这将不起作用。 但是，有一种

基于对数极坐标的相关方法

，无论旋转、缩放、剪切和平移如何，它都可以工作。 我想这也将能够跟踪该对象也离开了视频场景，因为最大相关性将会降低。

Answer 4

另外，我可能读错了你的模板匹配语句，但听起来你对它进行了过度训练（通过在你提取对象的同一个视频上进行测试？？）。

Answer 5

您最好的选择可能是将模板匹配与类似于 opencv 中的 camshift (5,7MB PDF)

的算法结合起来，以及卡车是否仍在行驶中的概率模型（您必须弄清楚这个模型）图像。