Matterport Mask-R-CNN的损失究竟是什么？

Question

我使用Mask-R-CNN来训练我的数据。当我使用TensorBoard查看结果时，我有丢失，mrcnn_bbox_loss，mrcnn_class_loss，mrcnn_mask_loss，rpn_bbox_loss，rpn_class_loss以及验证的所有相同的6个损失：val_loss，val_mrcnn_bbox_loss等。

我想知道每个损失究竟是什么。

另外我想知道前6个损失是火车损失还是它们是什么？如果他们不是火车损失，我怎么能看到火车损失？

我的猜测是：

损失：总结为5个亏损（但我不知道TensorBoard如何总结它）。

mrcnn_bbox_loss：边界框的大小是否正确？

mrcnn_class_loss：这个类是正确的吗？像素是否正确分配给了班级？

mrcnn_mask_loss：实例的形状是否正确？像素是否正确分配给实例？

rpn_bbox_loss：bbox的大小是否正确？

rpn_class_loss：bbox的类是否正确？

但我很确定这不对......

如果我只有一节课，那么有些失败是无关紧要的吗？例如只有背景和另外一个类？

我的数据只有背景和另外一个类，这是我在TensorBoard上的结果：

我的预测还可以，但我不知道为什么我的验证中的一些损失会在最后上升和下降......我认为它必须首先只是下降并且仅在过度拟合之后。我使用的预测是具有最多纪元的TensorBoard上的绿线。我不确定我的网络是否过度装配，因此我想知道为什么验证中的某些损失看起来如何...

这是我的预测：qazxsw poi qazxsw poi qazxsw poi

Answer 1

根据Python Package Index中的和，这些损失定义为：

• rpn_class_loss = RPN锚分类器丢失
• rpn_bbox_loss = RPN边界框丢失图
• mrcnn_class_loss = Mask R-CNN的分类器头的丢失
• mrcnn_bbox_loss =掩码R-CNN边界框细化的丢失
• mrcnn_mask_loss =屏蔽掩码头的二进制交叉熵损失

这些损失度量中的每一个是针对每个感兴趣区域单独计算的所有损失值的总和。日志中给出的一般损失度量是掩码R-CNN作者定义的其他五个损失的总和（您可以通过总结它们来检查它）。

根据如何计算这些损失，它们可以描述如下（请注意，为了更直观的解释，定义非常粗略）：

• 分类损失值基本上取决于真实类别的置信度得分，因此分类损失反映了模型在预测类别标签时的自信程度，或者换句话说，模型与预测正确类别的接近程度。在mrcnn_class_loss的情况下，覆盖所有对象类，而在rpn_class_loss的情况下，唯一的分类是将锚框标记为前景或背景（这就是为什么这种损失倾向于具有较低值的原因，如概念上只有'两类'可以预测）。
• 边界框丢失值反映真实框参数之间的距离 - 即框位置的（x，y）坐标，其宽度和高度 - 以及预测的参数。它本质上是回归损失，并且它惩罚较大的绝对差异（对于较低的差异以近似指数的方式，对于较大的差异以线性方式 - 参见code comments函数以获得更多的洞察力）。因此，在rpn_bbox_loss的情况下，它最终显示了模型在图像中定位对象的好处;在mrcnn_bbox_loss的情况下，模型在精确预测图像中对应于存在的不同对象的区域有多好。
• 类似于分类丢失，掩码丢失惩罚错误的每像素二进制分类（前景/背景，相对于真正的类标签）。对于每个感兴趣的区域计算不同：掩码R-CNN为每个RoI编码每个类的二进制掩码，并且仅基于与其真实类对应的掩码计算特定RoI的掩码损失。防止蒙版损失受到类预测的影响。

正如您已经说过的，这些损失度量确实是训练损失，而具有val_前缀的那些是验证损失。验证丢失的波动可能由于几种不同的原因而发生，并且很难仅根据您的图表一眼就猜出来。它们可能是由于学习率太高（使得随机梯度下降时试图找到最小值）或者验证集太小（由于输出中的微小变化会产生不可靠的损失值）巨大的损失价值变化）。