NAdam 在 ResNet18 的 pytrch 中的表现比 Adam 优化器差

Question

我在使用 NAdam 优化器时遇到了问题。每当我使用 pytorch 库中的 NAdam 优化器时，我发现与 ResNet18 一起使用时测试精度大约下降 2%（测试精度：大约 94%），其中与 Adam 合作，我得到了 96% 的支持。两者的学习率为 0.0001，其余为 pytorch 默认值 (beta1,beta2,etc)-> (betas=(0.9, 0.999), eps=1e-08,)。我尝试在 NAdam 中使用不同的 beta1,beta2 值来匹配或超过 Adam 优化器的测试精度，但它失败了。

我需要知道问题的根本原因？

Answer 1

我不认为使用 NAdam 直接意味着你的模型有更好的性能。优化器的选择可能会根据您正在处理的问题而有所不同。对于您正在使用的模型和数据集组合来说，普通的 Adam 优化器可能是您的最佳选择。