某些模型可能会过度拟合而其他模型则不会在相同的数据上吗？

Question

我正在使用 scikit learn 构建 ML 模型。根据特征重要性删除一些特征并尝试避免多重共线性后，一些模型显示出过度拟合的迹象，而另一些则没有。我仍然可以相信其中一个模型（在我的例子中是梯度增强回归器）非常适合数据吗？

对模型进行初始训练后，我得到了训练和测试数据的这些指标：

然后，我排除了出现过拟合迹象的模型，只剩下这三个最好的模型：

训练、测试和验证数据之间是否有足够的一致性来选择梯度增强回归器作为最佳模型？

Answer 1

您可以通过优化模型参数来避免过度拟合。例如在树/随机森林模型中，减少最大深度可以避免过度拟合。 因此，对于你的问题，不同的模型会产生不同程度的过度拟合