欢迎来到回归诊断：为你的模型进行“健康检查”
在你的 FRM 学习旅程中，你已经学会了如何使用普通最小二乘法 (OLS) 来估计线性回归。但我们如何知道模型是否足以信赖以用于风险管理？一个有缺陷的模型可能会产生误导性的风险预测、错误的对冲比率，以及灾难性的风险管理决策。回归诊断 (Regression Diagnostics) 就是检验经典回归假设是否成立并识别潜在模型缺陷的过程。
1. OLS 成为 BLUE 的条件
根据高斯－马尔可夫定理 (Gauss-Markov Theorem)，只要满足以下条件，OLS 估计量就是最佳线性无偏估计量 (BLUE)——这意味着它在所有线性无偏估计量中拥有最小的方差：
- 参数的线性关系 (Linearity in Parameters)： 因变量是总体参数与误差项的线性函数。
- 随机抽样／严格外生性 (Random Sampling / Strict Exogeneity)： 在给定解释变量的情况下，误差项的条件期望值为零，即 \( E[\epsilon | X] = 0 \)。这意味着解释变量与误差项不相关。
- 无完全共线性 (No Perfect Collinearity)： 没有任何一个自变量是其他自变量的精确线性组合。
- 球状误差 (Spherical Errors)：
1. 同方差性 (Homoskedasticity)： 误差项具有恒定的条件方差，即 \( \text{Var}(\epsilon_i | X) = \sigma^2 \)。
2. 无自相关 (No Autocorrelation)： 不同观测值之间的误差项彼此不相关，即当 \( i \neq j \) 时，\( \text{Cov}(\epsilon_i, \epsilon_j | X) = 0 \)。
如果这些条件成立，OLS 就是 BLUE。若误差项额外服从正态分布，则 OLS 估计量在所有无偏估计量（BUE）中都拥有最小方差，而不仅仅局限于线性估计量。
2. 异方差性：非常态的误差方差
这是什么？
当误差项的方差在不同观测值之间并非恒定时，就会发生异方差性 (Heteroskedasticity)。
类比： 想象一位射手在近距离站立时射击非常密集，但在距离较远时箭矢却大幅分散。射击的方差随着距离扩大而增加。这就是异方差性！
异方差性的类型
1. 无条件异方差性 (Unconditional Heteroskedasticity)： 方差发生改变，但与自变量的数值无关。这通常不会损害统计推断。
2. 条件异方差性 (Conditional Heteroskedasticity)： 误差方差与自变量的水准相关。这是 FRM 考试中最关注的情况，因为它会扭曲标准假设检验。
后果、检测与补救措施
后果： OLS 系数估计值 (\( \hat{\beta} \)) 仍然是无偏且一致的。然而，OLS 标准误会有偏差（通常被低估），导致 \( t \) 统计量膨胀，并得出有关统计显著性的错误结论。
如何识别它：
- 残差图 (Residual Plots)： 残差对拟合值或解释变量的散点图呈现出明显的“扇形”或“漏斗形”图案。
- Breusch-Pagan 检验： 一种正式检验，将残差平方对自变量进行回归，以检验是否存在线性方差依赖性。
- White 检验： 一种将残差平方对解释变量、其平方项以及交叉乘积项进行回归的检验，无需预设具体函数形式即可检测线性与非线性异方差性。
如何修正它： 计算 White 的异方差稳健标准误 (White's Heteroskedasticity-Consistent Standard Errors)（稳健标准误）。这可以在不改变系数估计值的情况下调整标准误和 \( t \) 统计量。
3. 多重共线性：不完全共线性 vs. 完全共线性
完全共线性与不完全多重共线性之间存在关键区别：
- 完全共线性 (Perfect Collinearity)： 两个或多个自变量之间存在精确的线性关系（例如 \( X_2 = 2X_1 \)，或因同时纳入所有类别变量与截距项而陷入“虚拟变量陷阱”）。在完全共线性下，数据矩阵无法求逆，OLS 估计在数学上无法进行。
- 多重共线性（不完全）(Multicollinearity (Imperfect))： 两个或多个解释变量之间存在高度但非完全的相关性。
后果、检测与补救措施
后果： OLS 估计量仍然是无偏且一致的。然而，标准误会膨胀，使得个别 \( t \) 统计量变小且不显著，即使整体的拟合优度指标仍然很高。此外，系数对数据的微小变动也会变得极为敏感。
如何识别它：
- 高 \( R^2 \) 配合低 \( t \) 统计量： 经典的诊断征兆，即整体 \( F \) 统计量显著，但个别解释变量看起来却不显著。
- 相关系数矩阵 (Correlation Matrix)： 解释变量之间的成对相关系数极高（例如 \( |r| > 0.8 \)）。
- 方差膨胀因子 (VIF)： 量化由于共线性导致估计系数方差膨胀的程度。\( \text{VIF} > 5 \) 至 \( 10 \) 表示存在严重的多重共线性。
如何修正它： 剔除其中一个冗余的共线性变量、收集额外数据，或对相关变量进行转换（例如取差分或构建主成分）。
4. 残差可视化与极端值识别
残差诊断提供了视觉和数值工具来验证回归的充分性：
- 残差可视化 (Visualizing Residuals)： 绘制残差 (\( e_i \)) 对拟合值 (\( \hat{Y}_i \)) 或自变量 (\( X_i \)) 的图形，可以快速检测非线性（曲线图案）、异方差性（漏斗形图案）或结构性断裂。
- 极端值 (Outliers)： 残差显著大于其他点的观测值，表示模型对该点的拟合极差。
- 高杠杆点 (High Leverage Points)： 在解释变量中具有极端数值（远离 \( X \) 的样本均值）的观测值。高杠杆意味着该观测值具有对回归线产生不成比例影响的潜力。
- 强影响点 (Influential Observations)： 同时为极端值且具备高杠杆的观测值。移除强影响点会显著改变估计的回归系数。强影响点通常透过库克距离 (Cook's distance) 和学生化残差来评估。
5. 模型设定：遗漏变量 vs. 无关解释变量
设定错误源于选择了错误的变量集或错误的函数形式：
- 遗漏变量偏差 (Omitted Variable Bias)： 当一个真正影响 \( Y \) 且与一个或多个已纳入解释变量相关的变量被遗漏时发生。后果： 已纳入变量的 OLS 估计值会变得有偏且不一致。
- 纳入无关解释变量 (Including Irrelevant Regressors)： 当纳入与 \( Y \) 没有关系的变量时发生。后果： OLS 估计值仍然是无偏且一致的，但估计方差增加（损失有效性），导致标准误变大。
- 函数形式设定错误 (Functional Form Misspecification)： 使用线性方程来拟合非线性关系（可透过 Ramsey RESET 检验等方法进行评估）。
6. 模型选择与偏差－方差权衡
在选择解释变量时，风险建模人员面临偏差－方差权衡 (bias-variance trade-off)：
- 欠拟合（高偏差，低方差）(Underfitting)： 省略变量可以使跨样本的参数估计方差保持在较低水准，但如果遗漏了相关解释变量，则会引入实质偏差。
- 过度拟合（低偏差，高方差）(Overfitting)： 纳入许多解释变量可以减少样本内偏差并膨胀 \( R^2 \)，但会使参数估计方差急剧上升，导致模型拟合了样本噪声，并在样本外预测中表现不佳。
模型选择准则
添加解释变量时，标准 \( R^2 \) 绝不会下降。为了防止过度拟合，我们会使用带惩罚项的准则：
- 调整后 \( R^2 \) (Adjusted \( R^2 \))： 针对估计参数数量 \( k \) 相对于样本大小 \( n \) 进行调整。它会惩罚不必要的变量，但惩罚力度较小。
- 赤池信息准则 (AIC)： 在似然度与参数数量之间取得平衡，对模型复杂度进行惩罚。当主要目标是样本外预测时常被使用。
- 贝叶斯（施瓦茨）信息准则 (BIC)： 引入与 \( \ln(n) \) 成比例的惩罚项，对于大样本容量而言，其对额外参数的惩罚比 AIC 更为严格，因而偏向更简约的模型。
- 马洛斯 \( C_p \) (Mallows' \( C_p \))： 比较子集模型与全模型的精确度，其中 \( C_p \approx k \) 表示无偏模型。
7. 序列相关与残差正态性
- 序列相关（自相关）(Serial Correlation / Autocorrelation)： 某一时期的残差与相邻时期的残差相关，这在时间序列中很常见。虽然系数仍保持无偏，但标准误会被低估。可以使用 Durbin-Watson (DW) 检验进行检测（其中 \( DW \approx 2 \) 表示无序列相关，\( DW < 2 \) 表示正序列相关）。修正方法为使用 Newey-West 标准误（HAC 标准误），它同时修正了异方差性和自相关。
- 残差正态性 (Normality of Residuals)： 使用 Jarque-Bera (JB) 检验进行评估，该检验评估偏度（正态分布下预期为 0）和峰度（正态分布下预期为 3）。显著的 JB 统计量将拒绝正态性假设。
8. 诊断总结表
- 异方差性： 使用 Breusch-Pagan / White 检验检测。使用 White 稳健标准误进行修正。
- 完全共线性： 精确的线性依赖。估计会失效；应剔除冗余的解释变量。
- 多重共线性： 透过高 \( R^2 \) 配合低 \( t \) 统计量、高 VIF 来检测。透过剔除或合并变量进行修正。
- 遗漏变量： 导致偏差和不一致性。透过纳入遗漏变量进行修正。
- 无关解释变量： 保持无偏性但膨胀方差。透过使用 AIC/BIC 剪枝模型进行修正。
- 极端值与强影响点： 检查残差图、杠杆值和库克距离 (Cook's distance)。