多元线性回归的F统计公式

Question

任何人都可以帮助在线性回归的背景下逐步解释以下公式，以便与零函数进行比较：

E{(TSS − RSS)/p} = σ^2

p：预测变量的数量

特别是，什么是“E{”以及σ是如何定义的？

Answer 1

该公式是线性回归背景下的预期均方误差（EMSE）。它帮助我们将线性回归模型的性能与零模型（仅根据因变量的平均值进行预测的模型）进行比较。包含的变量有：

• E：是期望算子，计算随机变量的期望值。在本例中，我们正在计算大括号内表达式的期望值，
• TSS（平方和） 测量因变量（您要预测的变量）的总变异性，而不考虑任何预测变量。它在数学上定义为 TSS = Σ(yi - ş)²，其中 yi 是观测到的因变量，ų 是所有观测到的因变量的平均值。
• RSS（残差平方和） 测量线性回归模型无法解释的变异性。数学上：RSS = Σ(yi - ŷi)²，其中 ŷi 是因变量的预测值。
• p：预测变量的数量。
• σ²（西格玛平方）为 σ = √[(Σ(yi - ŷi)²) / (n - p - 1)]，其中 n 是数据点（观测值）的数量，其他变量已在上面进行了解释。

一步一步：

1. 计算 TSS。
2. 计算 RSS。
3. 确定 p.
4. 从 TSS 中减去 RSS，然后除以 p。
5. 计算步骤4的表达式的(E)。