歡迎來到迴歸診斷：為你的模型進行「健康檢查」
在你的 FRM 學習旅程中，你已經學會了如何使用普通最小平方法 (OLS) 來估計線性迴歸。但我們如何知道模型是否足以信賴以用於風險管理？一個有缺陷的模型可能會產生誤導性的風險預測、錯誤的對沖比率，以及災難性的風險管理決策。迴歸診斷 (Regression Diagnostics) 就是檢驗經典迴歸假設是否成立並識別潛在模型缺陷的過程。
1. OLS 成為 BLUE 的條件
根據高斯－馬可夫定理 (Gauss-Markov Theorem)，只要滿足以下條件，OLS 估計量就是最佳線性無偏估計量 (BLUE)——這意味著它在所有線性無偏估計量中擁有最小的變異數：
- 參數的線性關係 (Linearity in Parameters)： 因變數是母體參數與誤差項的線性函數。
- 隨機抽樣／嚴格微生性 (Random Sampling / Strict Exogeneity)： 在給定解釋變數的情況下，誤差項的條件期望值為零，即 \( E[\epsilon | X] = 0 \)。這意味著解釋變數與誤差項不相關。
- 無完全共線性 (No Perfect Collinearity)： 沒有任何一個自變數是其他自變數的精確線性組合。
- 球狀誤差 (Spherical Errors)：
1. 同質變異性 (Homoskedasticity)： 誤差項具有恆定的條件變異數，即 \( \text{Var}(\epsilon_i | X) = \sigma^2 \)。
2. 無自相關 (No Autocorrelation)： 不同觀測值之間的誤差項彼此不相關，即當 \( i \neq j \) 時，\( \text{Cov}(\epsilon_i, \epsilon_j | X) = 0 \)。
如果這些條件成立，OLS 就是 BLUE。若誤差項額外服從常態分佈，則 OLS 估計量在所有無偏估計量（BUE）中都擁有最小變異數，而不僅僅局限於線性估計量。
2. 異質變異性：非常態的誤差變異數
這是什麼？
當誤差項的變異數在不同觀測值之間並非恆定時，就會發生異質變異性 (Heteroskedasticity)。
類比： 想像一位射手在近距離站立時射擊非常密集，但在距離較遠時箭矢卻大幅分散。射擊的變異數隨著距離擴大而增加。這就是異質變異性！
異質變異性的類型
1. 無條件異質變異性 (Unconditional Heteroskedasticity)： 變異數發生改變，但與自變數的數值無關。這通常不會損害統計推論。
2. 條件異質變異性 (Conditional Heteroskedasticity)： 誤差變異數與自變數的水準相關。這是 FRM 考試中最關注的情況，因為它會扭曲標準假設檢定。
後果、檢測與補救措施
後果： OLS 係數估計值 (\( \hat{\beta} \)) 仍然是無偏且一致的。然而，OLS 標準誤會有偏差（通常被低估），導致 \( t \) 統計量膨脹，並得出有關統計顯著性的錯誤結論。
如何識別它：
- 殘差圖 (Residual Plots)： 殘差對擬合值或解釋變數的散佈圖呈現出明顯的「扇形」或「漏斗形」圖案。
- Breusch-Pagan 檢定： 一種正式檢定，將殘差平方對自變數進行迴歸，以檢驗是否存在線性變異數依賴性。
- White 檢定： 一種將殘差平方對解釋變數、其平方項以及交叉乘積項進行迴歸的檢定，無需預設具體函數形式即可檢測線性與非線性異質變異性。
如何修正它： 計算 White 的異質變異性穩健標準誤 (White's Heteroskedasticity-Consistent Standard Errors)（穩健標準誤）。這可以在不改變係數估計值的情況下調整標準誤和 \( t \) 統計量。
3. 多重共線性：不完全共線性 vs. 完全共線性
完全共線性與不完全多重共線性之間存在關鍵區別：
- 完全共線性 (Perfect Collinearity)： 兩個或多個自變數之間存在精確的線性關係（例如 \( X_2 = 2X_1 \)，或因同時納入所有類別變數與截距項而陷入「虛擬變數陷阱」）。在完全共線性下，數據矩陣無法求逆，OLS 估計在數學上無法進行。
- 多重共線性（不完全）(Multicollinearity (Imperfect))： 兩個或多個解釋變數之間存在高度但非完全的相關性。
後果、檢測與補救措施
後果： OLS 估計量仍然是無偏且一致的。然而，標準誤會膨脹，使得個別 \( t \) 統計量變小且不顯著，即使整體的擬合優度指標仍然很高。此外，係數對數據的微小變動也會變得極為敏感。
如何識別它：
- 高 \( R^2 \) 配合低 \( t \) 統計量： 經典的診斷徵兆，即整體 \( F \) 統計量顯著，但個別解釋變數看起來卻不顯著。
- 相關係數矩陣 (Correlation Matrix)： 解釋變數之間的成對相關係數極高（例如 \( |r| > 0.8 \)）。
- 變異數膨脹因子 (VIF)： 量化由於共線性導致估計係數變異數膨脹的程度。\( \text{VIF} > 5 \) 至 \( 10 \) 表示存在嚴重的多重共線性。
如何修正它： 剔除其中一個冗餘的共線性變數、收集額外數據，或對相關變數進行轉換（例如取差分或構建主成份）。
4. 殘差可視化與極端值識別
殘差診斷提供了視覺和數值工具來驗證迴歸的充分性：
- 殘差可視化 (Visualizing Residuals)： 繪製殘差 (\( e_i \)) 對擬合值 (\( \hat{Y}_i \)) 或自變數 (\( X_i \)) 的圖形，可以快速檢測非線性（曲線圖案）、異質變異性（漏斗形圖案）或結構性斷裂。
- 極端值 (Outliers)： 殘差顯著大於其他點的觀測值，表示模型對該點的擬合極差。
- 高槓桿點 (High Leverage Points)： 在解釋變數中具有極端數值（遠離 \( X \) 的樣本均值）的觀測值。高槓桿意味著該觀測值具有對迴歸線產生不成比例影響的潛力。
- 強影響點 (Influential Observations)： 同時為極端值且具備高槓桿的觀測值。移除強影響點會顯著改變估計的迴歸係數。強影響點通常透過庫克距離 (Cook's distance) 和學生化殘差來評估。
5. 模型設定：遺漏變數 vs. 無關解釋變數
設定錯誤源於選擇了錯誤的變數集或錯誤的函數形式：
- 遺漏變數偏差 (Omitted Variable Bias)： 當一個真正影響 \( Y \) 且與一個或多個已納入解釋變數相關的變數被遺漏時發生。後果： 已納入變數的 OLS 估計值會變得有偏且不一致。
- 納入無關解釋變數 (Including Irrelevant Regressors)： 當納入與 \( Y \) 沒有關係的變數時發生。後果： OLS 估計值仍然是無偏且一致的，但估計變異數增加（損失有效性），導致標準誤變大。
- 函數形式設定錯誤 (Functional Form Misspecification)： 使用線性方程式來擬合非線性關係（可透過 Ramsey RESET 檢定等方法進行評估）。
6. 模型選擇與偏差－變異數權衡
在選擇解釋變數時，風險建模人員面臨偏差－變異數權衡 (bias-variance trade-off)：
- 欠擬合（高偏差，低變異數）(Underfitting)： 省略變數可以使跨樣本的參數估計變異數保持在較低水準，但如果遺漏了相關解釋變數，則會引入實質偏差。
- 過度擬合（低偏差，高變異數）(Overfitting)： 納入許多解釋變數可以減少樣本內偏差並膨脹 \( R^2 \)，但會使參數估計變異數急劇上升，導致模型擬合了樣本噪聲，並在樣本外預測中表現不佳。
模型選擇準則
添加解釋變數時，標準 \( R^2 \) 絕不會下降。為了防止過度擬合，我們會使用帶懲罰項的準則：
- 調整後 \( R^2 \) (Adjusted \( R^2 \))： 針對估計參數數量 \( k \) 相對於樣本大小 \( n \) 進行調整。它會懲罰不必要的變數，但懲罰力度較小。
- 赤池訊息準則 (AIC)： 在概似度與參數數量之間取得平衡，對模型複雜度進行懲罰。當主要目標是樣本外預測時常被使用。
- 貝氏（施瓦茨）訊息準則 (BIC)： 引入與 \( \ln(n) \) 成比例的懲罰項，對於大樣本容量而言，其對額外參數的懲罰比 AIC 更為嚴格，因而偏向更簡約的模型。
- 馬洛斯 \( C_p \) (Mallows' \( C_p \))： 比較子集模型與全模型的精確度，其中 \( C_p \approx k \) 表示無偏模型。
7. 序列相關與殘差常態性
- 序列相關（自相關）(Serial Correlation / Autocorrelation)： 某一時期的殘差與相鄰時期的殘差相關，這在時間序列中很常見。雖然係數仍保持無偏，但標準誤會被低估。可以使用 Durbin-Watson (DW) 檢定進行檢測（其中 \( DW \approx 2 \) 表示無序列相關，\( DW < 2 \) 表示正序列相關）。修正方法為使用 Newey-West 標準誤（HAC 標準誤），它同時修正了異質變異性和自相關。
- 殘差常態性 (Normality of Residuals)： 使用 Jarque-Bera (JB) 檢定進行評估，該檢定評估偏度（常態分佈下預期為 0）和峰度（常態分佈下預期為 3）。顯著的 JB 統計量將拒絕常態性假設。
8. 診斷總結表
- 異質變異性： 使用 Breusch-Pagan / White 檢定檢測。使用 White 穩健標準誤進行修正。
- 完全共線性： 精確的線性依賴。估計會失效；應剔除冗餘的解釋變數。
- 多重共線性： 透過高 \( R^2 \) 配合低 \( t \) 統計量、高 VIF 來檢測。透過剔除或合併變數進行修正。
- 遺漏變數： 導致偏差和不一致性。透過納入遺漏變數進行修正。
- 無關解釋變數： 保持無偏性但膨脹變異數。透過使用 AIC/BIC 剪枝模型進行修正。
- 極端值與強影響點： 檢查殘差圖、槓桿值和庫克距離 (Cook's distance)。