汇总方法如何汇总MLR中的性能指标?

问题描述 投票:1回答:1

MLR R程序包中,有一些方法可以汇总参数调整模型性能指标,例如train.meantrain.sdtest.meantest.sd。我想知道聚合过程是如何完成的。据我目前的了解,聚合似乎是在折叠级别进行的。

假设10次重复,5次交叉验证,总共有10 * 5个测试误差估计,因此测试误差的标准偏差是50个估计的变化。但是我想要的是重复级别的误差估计,因此对于每个重复,我都有一个误差估计,平均为内部5倍,然后我期望的测试误差标准偏差应该是10个重复中10个估计值的变化。

我想知道如何做到这一点。有没有办法为每个重采样中的每个调整参数提取原始性能指标?

r mlr
1个回答
0
投票

正确,聚合是在折叠级别完成的。

没有可实现的选项可以在重复级别进行汇总,您必须自己编写代码。

我们不会再将此功能添加到{mlr}中。请参见this issue,以了解如何在{mlr3}中进行操作。

© www.soinside.com 2019 - 2024. All rights reserved.