验证损失不会对超参数调整做出反应

Question

我通过神经网络构建了一个回归器。我的训练损失图随着超参数（lr、dropout 率、激活 fn）的调整而变化。然而，我的价值损失保持不变。 val 损失正在按预期减少。我想让它更低，但无论超参数是什么，它都开始在相同的损失值处趋于稳定。

接下来我应该尝试做什么？

Answer 1

首先你需要对训练数据集进行过度拟合。这意味着验证损失的值会下降和上升。之后您可以规范您的数据