什么是mAP度量标准以及如何计算？

Question

在计算机视觉和目标检测中，常见的评估方法是mAP。它是什么，如何计算？

Answer 1

行情摘自上述Zisserman paper - 4.2 Evaluation of Results (Page 11)：

首先，“重叠标准”被定义为大于0.5的交叉重叠。 （例如，如果预测的盒子相对于地面真盒子满足此标准，则视为检测到）。然后使用这种“贪婪”方法在GT盒和预测盒之间进行匹配：

通过一种方法输出的检测被分配给地面真实对象 满足重叠条件的顺序按（降序）排列 置信度输出。图像中同一物体的多次检测 被认为是错误的检测，例如对单个物体进行5次检测 计为1次正确检测和4次错误检测]

因此，每个预测的框都是True或False。每个地面真理框都是“正正”的。没有真否定词。

然后，平均精度是通过对精度召回曲线的精度值取平均值来计算的，其中召回率在[0，0.1，...，1]范围内（例如11个精度值的平均值）。更精确地说，我们考虑稍微校正的PR曲线，其中对于每个曲线点（p，r），如果存在不同的曲线点（p'，r'），使得p'> p和r'> = r ，我们用这些点的最大p'替换p。

对我来说，仍然不清楚的是对那些从不检测到的GT盒（即使置信度为0）做了什么。这意味着存在某些召回值，精确度-召回曲线将永远无法达到，这使得上面的平均精确度计算不确定。

编辑：

简短的回答：在无法召回的区域，精度下降到0。

一种解释方法是，假设置信度的阈值接近0时，无限数量的predicted边界框会在整个图像上点亮。然后，精度立即变为0（因为只有有限数量的GT盒），并且召回率在此平坦曲线上不断增长，直到达到100％。

Answer 2

mAP是平均平均精度。

其用途在信息检索（参考[1] [2]）和多类别分类（对象检测）设置中是不同的。

要计算该值以进行对象检测，您需要根据模型预测来计算数据中每个类别的平均精度。平均精度与某个类的精度调用曲线下的面积有关。然后，将这些平均个体类别精度的平均值作为平均值。

要计算平均精度，请参阅[3]

Answer 3

为了进行检测，这是确定是否有一个对象建议书的常用方法 右边是Union over Union（IoU，IU）。这需要设置A 提出的目标像素和一组真实目标像素B和 计算：

Commonly，IoU> 0.5表示它是命中，否则是失败。对于每个类，可以计算出

• True Positive TP（c）：针对c类提出了一个建议，实际上有一个c类的对象
• 误报FP（c）：针对c类提出了建议，但没有c类的对象
• c类的平均精度：

然后，mAP（平均平均精度）为：

注意：如果有人想要更好的建议，则可以将IoU从0.5增加到更高的值（最理想的是增加到1.0）。可以用mAP @ p表示这一点，其中p \ in（0，1）是IoU。

[mAP@[.5:.95]表示在多个阈值上计算出mAP，然后再次取平均值

编辑：有关更多详细信息，请参见COCO Evaluation metrics

Answer 4

我认为这里的重要部分是如何将对象检测与至少存在一个excellent description of average precision的标准信息检索问题联系起来。

某些对象检测算法的输出是一组建议的边界框，并且每个边界框都有一个置信度和分类分数（每类一个分数）。现在让我们忽略分类得分，并使用置信度作为threshold binary classification的输入。直观上，平均精度是阈值/截止值的所有选择的总和。可是等等;为了计算精度，我们需要知道一个盒子是否正确！

这是令人困惑/困难的地方；与典型的信息检索问题相反，我们实际上在这里有一个额外的分类级别。也就是说，我们无法在框之间进行精确匹配，因此我们需要对边界框是否正确进行分类。解决的方法是对包装盒尺寸进行硬编码分类。我们会检查它是否与任何基本事实充分重叠以被视为“正确”。这部分的阈值是根据常识选择的。您正在处理的数据集可能会定义“正确”边界框的阈值。大多数数据集只是将其设置为0.5 IoU，然后保持该值不变（我建议做一些手动IoU计算（[不难]，以了解0.5的IoU实际上有多严格）。

现在，我们已经定义了“正确”的含义，我们可以使用与信息检索相同的过程。

要查找平均平均精度（mAP），您只需根据与这些框相关的分类得分的最大值，对建议的框进行分层，然后对各个类别的平均精度（AP）进行平均（取平均值）。

TLDR;在确定边界框预测是否为“正确”（分类的额外级别）与评估框的置信度为您提供“正确”边界框预测（完全类似于信息检索的情况）和以下方面的典型描述之间进行区分：地图将是有道理的。

---

[值得注意的是，Area under the Precision/Recall curve is the same thing as average precision，我们实际上是使用梯形或右手定则来近似该区域来近似积分。

Answer 5

定义：mAP→平均平均精度

[在大多数物体检测竞赛中，有很多类别要检测，并且每次对一个特定类别进行模型评估，评估结果都是该类别的AP。

评估每个类别时，将所有AP的平均值计算为模型的最终结果，即mAP。

Answer 6

Union Intersection Over Union（IOU）是基于Jaccard Index的度量，该度量评估两个边界框之间的重叠。它需要一个地面真值边界框和一个预测的边界框。通过应用IOU，我们可以判断检测是否有效（“真正”）（“假阳性”）。IOU由预测边界框和地面之间的重叠区域给出真相边界框除以它们之间的并合区域。