为什么在模型选择之前没有完成模型调整?

问题描述 投票:1回答:1

我在很多文章和书中都观察到模型选择是在模型调整之前完成的。

模型选择通常使用某种形式的交叉验证(如k-fold)来完成,其中计算多个模型的度量并选择最佳模型。

然后调整所选模型以获得最佳超参数。

但我的问题是,未选择的模型可能会使用正确的超参数表现更好。

那么为什么我们感兴趣的所有模型都不是为了获得正确的超参数,而是通过交叉验证选择最佳模型。

machine-learning data-mining cross-validation model-comparison
1个回答
1
投票

这取决于每篇文章/书中所遵循的实验设置,但简而言之,在同一实验中执行模型选择+超参数优化的正确方法是使用嵌套交叉验证:

  • 一个评估模型性能的外部循环(像往常一样)
  • 内循环(再次分割由外循环的N-1训练分区形成的数据集),在每个折叠中执行超参数优化。

您可以查看this other question以了解有关此验证方案的更多信息。

但请注意,在某些情况下,只需对所有模型进行一般性比较,然后仅优化性能最佳的模型即可。但是,在一项严谨的研究中,这远非理想。

© www.soinside.com 2019 - 2024. All rights reserved.