我使用tensorflow运行深度学习模型(CNN)。在这个时代,我已经多次观察到损失和准确性都有所增加,或两者都有所减少。我的理解是两者总是成反比关系的。什么可能是同时增加或减少的情况。
随着训练过程的进行,损失减少,除了由小批量梯度下降引入的一些波动和/或诸如丢失(引入随机噪声)的正则化技术。
如果损失减少,培训过程进展顺利。
相反,它是(验证我认为)准确性,它衡量模型预测的好坏程度。
如果模型正在学习,则准确度会提高。如果模型过度拟合,则精度会停止增加,甚至可能开始减小。
如果损失减少且精度降低,则您的模型过度拟合。
如果损失增加并且准确度增加也是因为你的正则化技术运行良好并且你正在应对过度拟合问题。只有当损失开始减少而精度继续增加时,才会出现这种情况。否则,如果损失不断增长,您的模型就会出现分歧,您应该寻找原因(通常您使用的学习率过高)。
我认为评价最高的答案是不正确的。
我假设你在谈论交叉熵损失,这可以被认为是“惊喜”的衡量标准。
在训练数据上同时增加/减少损失和准确度不会告诉您模型是否过度拟合。这只能通过比较验证与训练数据的损失/准确性来确定。
如果损失和准确性都在下降,则意味着您的模型对其正确预测变得更加自信,或者对其不正确的预测变得更加自信,或者两者兼而有之,从而减少损失。但是,它总体上也会做出更多不正确的预测,因此准确性会下降。反之亦然,如果两者都在增加。这就是我们所能说的。