评估逻辑回归中的预测变量性能（glm，glmnet R）

Question

我想评估逻辑回归模型（mymodel1）中每个预测变量的性能。这些是预测变量的显着性得分，所有值均<.05>

z <- summary(mymodel1)$coefficients/summary(mymodel1)$standard.errors
p <- (1 - pnorm(abs(z), 0, 1)) * 2
p
(Intercept)        alpha         beta gamma theta
2 0.000000e+00 0.000000e+00 0.000000e+00     0     0
3 0.000000e+00 0.000000e+00 0.000000e+00     0     0
4 2.644718e-05 4.905187e-11 7.112932e-06     0     0
5 0.000000e+00 0.000000e+00 0.000000e+00     0     0
6 0.000000e+00 0.000000e+00 0.000000e+00     0     0

Answer 1

关于这个话题有很多争论；真的很难对一种方法进行投票。不过，我列出了一些用于评估各个预测变量贡献的方法。

1. 标准化回归系数

绝对值越高，贡献越大。我也看到了以下表格

=标准化Coff的绝对值/总和（所有标准化Coff的绝对值）

2. 卡方统计

卡方值越高，贡献越大。但是，卡方值不能说明任何大小。

3. 对数似然值

您使用单个预测变量进行回归，并将对数似然值（-2LL）与完整模型的对数似然进行比较。

注：这些都是近似值，我没有遇到一种严格的方法来计算预测变量的贡献

Answer 2

为了确定预测变量的性能（也称为特征重要性），您可以考虑将样本中每个预测变量的值改组（本质上是创建随机变量）...

1. 随机抽取或随机化一个样本中的预测变量
2. 创建模型并使用适当的指标进行评分...最好，如果您可以使用不同的交叉折叠迭代来创建多个模型以构建得分分布。记录分数。
3. 对每个预测变量重复步骤（步骤1和2）。
4. 使用统计信息查看和/或测量变量，该变量将导致模型性能的最大下降。

基本上，您刚刚确定了通过“删除”对模型贡献最大信息的变量。]​​>