如何使用Vision和Core ML框架从图像中点击对象并从图像序列中跟踪它

Question

我正在使用新的Core ML框架开发应用程序。我想要实现的目标如下：1。选择一个图像，然后点击它上面的任何一个对象来绘制矩形2.然后跟踪那个刚刚在for循环中运行的多个图像中的对象

目前我正在进行以下流程

1. 用户搜索并存储时检测对象VNDetectedObjectObservation = VNDetectedObjectObservation（boundingBox：convertedRect）
2. 为VNImageRequestHandler创建VNTrackObjectRequest以执行请求

但没有得到正确的结果。任何帮助将不胜感激。

Answer 1

我不熟悉coreml和objective c，所以我不能为你提供任何代码示例，但是由于没有人给你任何答案，我想以我手动解决这个问题的方式来描述你：

1. 获取抽头点并展开一个区域（感兴趣的），就像围绕该点的N x N方格一样。
2. 对抽头区域执行分类，因此算法可以检测连续帧中的结构。
3. 将位置存储在当前帧中，然后展开该区域以用于下一帧，并使用此扩展区域来检测其中的对象。

使用此策略，您可以使用步骤3中的扩展区域进行可以使用YOLO实现解决的对象检测任务。但它比将整个帧放入对象检测更快，因为它只在小区域上执行检测。

我希望这对你至少有所帮助。