我们目前正在致力于从卫星图像中检测特定物体（例如家禽养殖场、医院）。我们已将该问题建模为二值图像分类任务（即将图像分类为农场/非农场），并使用梯度加权类激活图 (CAM) 来进一步定位图像内的对象。我们这样做是为了避免手动注释对象周围的边界框的高成本，因为获取二进制标签要便宜得多。到目前为止，CAM 非常适合本地化对象，无需边界框注释。
对于图像分类任务，我们首先优化 F1 分数，概率阈值设置为默认值 0.5。但我们后来意识到，由于最佳阈值取决于最终用户对误报和漏报的容忍度，因此优化精确率-召回率曲线下的面积 (PR AUC) 实际上可能会更好。当我们集成人机交互验证时，我们目前正在开发一个用户界面，用户可以根据他们有多少预测资源在现场验证来动态更改阈值。
目前，可调整阈值的范围是从 0.5 到 1.0，因为我们只为正预测生成 CAM，即正类别的概率 > 0.5 的预测。为所有预测生成 CAM 似乎没有意义（即使是那些对正类的置信度分数较低的预测），因为它的计算量很大，并且不太可能产生有意义的输出，因为这些低概率图像可能不包含该对象.
有了这个，优化 PR AUC 是否仍然有意义，还是应该继续优化 F1 分数？我们是否应该根据我们独特的用例生成自己的自定义性能指标？谢谢！