我正在使用 sklean 管道构建分类器，我计划使用 RandomSearchCV 或 HalvingRandomSearch，以评估一系列模型及其各自的 param_grids。
我想知道我是否应该在管道内包括一个校准步骤。例如，我可以对管道进行微调，然后对最佳模型进行校准，或者我可以从一开始就将校准包含在管道中——不过需要计算成本。
我担心的是我是否有可能从一组未校准的模型中选择一个次优模型。
这是我需要在用例基础上评估的东西吗，即我是仅仅在对观察结果进行排序之后（不需要校准）还是假设某个概率阈值（需要校准）
附言这是一个理论问题，所以我还没有要发布的代码示例，但我真的很想知道如果这最终是正确的方法，我将如何在管道中包含 CalibratedClassifierCV。