我在处理二进制文本分类任务时遇到了一个令人困惑的问题。尽管尝试了多种深度学习模型，包括各种架构和超参数，但我始终观察到很高的训练准确率，通常在 97% 到 99% 之间。然而，当我根据看不见的测试数据评估这些模型时，它们的性能显着恶化。
为了解决这个问题，我决定探索机器学习模型作为替代方法。令人惊讶的是，随机森林等模型的性能与深度学习模型相当甚至更好，训练和测试数据的准确率均达到 97% 左右。随后，我尝试了其他几种机器学习算法，逻辑回归成为最适合我的特定用例的选择。
尽管有这些发现，我仍然感到困惑，为什么深度学习模型尽管表现出令人印象深刻的训练准确性，却无法很好地泛化到未见过的数据。有人可以阐明这种差异背后的潜在原因吗？是否存在我可能忽略的深度学习特有的常见陷阱或注意事项？任何见解或建议将不胜感激。
您面临的问题可能是过度拟合。当算法与其训练数据过于接近甚至完全吻合时，就会发生过度拟合，从而导致模型无法从任何未见过的数据中做出准确的预测或结论，您可以在此处了解更多信息。
其他模型效果更好的原因可能是深度学习模型容易出现过拟合，尤其是当模型过于复杂或训练数据量不足时。随机森林及其集成方法本质上具有正则化效果，有助于防止过度拟合。
您的问题的可能解决方案可能是这样的：
还有其他方法可以避免过度拟合，您可以搜索并查看哪一种最适合您的项目