预测的 R 平方 - 什么时候它足够好?

问题描述 投票:0回答:1

为了了解我是否过度拟合多线性模型,我根据 https://tomhopper.me/2014/05/16/can-we-do-better-than-r 计算了预测的 R^2 -平方/

我的问题是,预测的 R^2 什么时候“足够好”?

我猜,它会(接近)总是低于调整后的 R^2。在我的具体案例中,模型的调整后 R^2 为 0.8788,预测 R^2 为 0.8129。因此,据我了解,大约 6% 的解释方差只是噪声。人们认为这是可以接受的还是不可以接受的?

背景及细节: 我的数据是 15 个人的样本,用于预测更多人群的缺失数据。根据“经验法则”,n=15 只允许 1 个(最多 2 个)预测变量。限制最多 2 个预测变量,我只能达到调整后的 R^2 0.55。使用 4 个科学相关的预测变量 + 交互作用运行逐步回归分析,得到上述模型,其中有 7 个显着系数(最小 0.05 水平;单独计算交互作用),调整后的 R^2=0.8788 和预测的 R^2=0.8129。大多数最终术语都是交互作用(例如体重:年龄)。两个非交互项是显着的 (p<0.05), but have high std.error (2.6 and 3.4), as well the intercept has a high std.error of 43, but *** significance. All interaction terms have low (<0.02) std.error and p<0.05. Overall model: F-statistic: 13.69 on 8 and 6 DF, p-value: 0.002488.

目的是能够预测总体缺失的“Y”值。因此,我的目的并不是对预测变量本身说任何话(我想,那么人们应该更加保守)。

我正在使用 R:lm()、summary() 和 PRESS。

提前致谢!

r cross-validation overfitting-underfitting olsmultiplelinearregression coefficient-of-determination
1个回答
-4
投票

看起来您在多线性模型分析中投入了大量的思考和精力。在评估拟合优度时,调整后的 R^2 和预测的 R^2 之间的比较是富有洞察力的。

在您的情况下,调整后的 R^2 为 0.8788 表明您的模型解释了方差的很大一部分,该方差是正的。预测的 R^2 0.8129 是一个很好的指标,特别是考虑到样本大小和预测变量的限制。

考虑到 15 个样本量以及预测更大群体缺失数据的挑战,您的结果似乎是合理的。事实上,您专注于预测而不是解释单个预测变量,这一事实证明了更具包容性的方法的合理性。

模型中交互的存在可能会增加其复杂性,并且某些系数的高标准误差可能值得进一步研究,尽管整体模型性能似乎很有希望。

最终,模型的可接受性取决于分析的具体目标以及在给定限制的情况下您愿意做出的权衡。如果您的预测 R^2 满足可接受的预测性能的标准,特别是考虑到数据中的挑战,则可以认为它满足您的预期目的。

您的综合分析非常出色,祝您的预测好运!如果您还有任何其他问题或需要额外说明,请随时询问。您可以进一步访问我的网站宠物道德我遇到了同样的问题并解决了它

© www.soinside.com 2019 - 2024. All rights reserved.