如何解释损失和准确性的增加

问题描述 投票:11回答:1

我使用tensorflow运行深度学习模型(CNN)。在这个时代,我已经多次观察到损失和准确性都有所增加,或两者都有所减少。我的理解是两者总是成反比关系的。什么可能是同时增加或减少的情况。

tensorflow deep-learning loss
1个回答
32
投票

随着训练过程的进行,损失减少,除了由小批量梯度下降引入的一些波动和/或诸如丢失(引入随机噪声)的正则化技术。

如果损失减少,培训过程进展顺利。

相反,它是(验证我认为)准确性,它衡量模型预测的好坏程度。

如果模型正在学习,则准确度会提高。如果模型过度拟合,则精度会停止增加,甚至可能开始减小。

如果损失减少且精度降低,则您的模型过度拟合。

如果损失增加并且准确度增加也是因为​​你的正则化技术运行良好并且你正在应对过度拟合问题。只有当损失开始减少而精度继续增加时,才会出现这种情况。否则,如果损失不断增长,您的模型就会出现分歧,您应该寻找原因(通常您使用的学习率过高)。


1
投票

我认为评价最高的答案是不正确的。

我假设你在谈论交叉熵损失,这可以被认为是“惊喜”的衡量标准。

在训练数据上同时增加/减少损失和准确度不会告诉您模型是否过度拟合。这只能通过比较验证与训练数据的损失/准确性来确定。

如果损失和准确性都在下降,则意味着您的模型对其正确预测变得更加自信,或者对其不正确的预测变得更加自信,或者两者兼而有之,从而减少损失。但是,它总体上也会做出更多不正确的预测,因此准确性会下降。反之亦然,如果两者都在增加。这就是我们所能说的。

© www.soinside.com 2019 - 2024. All rights reserved.