如果训练损失总是低于验证损失，是否表明过度拟合？

Question

我正在 MNIST 数据上训练 CNN 模型，并将验证分割设置为 0.2，批量大小 = 128，周期数 = 5。训练模型后，我的训练和验证准确率超过 99%。当我绘制学习曲线时，我得到的图表具有非常低的训练和验证损失，但训练损失始终高于验证损失。我想了解这是过度拟合的情况吗？

Answer 1

这很难说，但如果我眯着眼睛看，我会说你在第 2 轮开始过度拟合。验证损失 > 训练损失是相当标准的。差距越大，泛化能力越差，但如果它们都相同，我会怀疑你的分割会从训练中泄漏信息到测试（即两个分割中来自同一主题的样本）。

如果训练损失正在减少，而验证损失正在增加，那么您已经超过了模型具有最佳泛化能力的点。因此，在您的图表上，这似乎发生在第 2 轮，因为您的训练损失似乎仍在减少，但验证损失却在增加。

因此，用不同的方式说同样的事情，这意味着模型模型已经开始专注于训练特征，而这些特征不会泛化到验证/保留数据。

查看https://machinelearningmastery.com/overfitting-machine-learning-models/了解更夸张的案例。