在MLR
R程序包中,有一些方法可以汇总参数调整模型性能指标,例如train.mean
,train.sd
,test.mean
,test.sd
。我想知道聚合过程是如何完成的。据我目前的了解,聚合似乎是在折叠级别进行的。
假设10次重复,5次交叉验证,总共有10 * 5个测试误差估计,因此测试误差的标准偏差是50个估计的变化。但是我想要的是重复级别的误差估计,因此对于每个重复,我都有一个误差估计,平均为内部5倍,然后我期望的测试误差标准偏差应该是10个重复中10个估计值的变化。
我想知道如何做到这一点。有没有办法为每个重采样中的每个调整参数提取原始性能指标?