Regression Diagnostics

回帰診断へようこそ：モデルの「健康診断」

これまでのFRM学習で、最小二乗法（OLS）を用いた線形回帰モデルの推定方法を学びましたね。しかし、そのモデルがリスク管理において信頼できるものか、どうやって判断すればよいのでしょうか？欠陥のあるモデルは、誤ったリスク予測や不適切なヘッジ比率、ひいては破滅的なリスク管理の意思決定につながる恐れがあります。回帰診断（Regression Diagnostics）とは、古典的回帰の前提条件が満たされているかを検証し、潜在的なモデルの欠陥を特定するプロセスのことです。

1. OLSがBLUEであるための条件

ガウス・マルコフの定理（Gauss-Markov Theorem）によれば、以下の条件が満たされている場合、OLS推定量は最良線形不偏推定量（BLUE）—つまり、すべての線形不偏推定量の中で最小の分散を持つ推定量—となります：

- パラメータにおける線形性（Linearity in Parameters）： 被説明変数は、母集団パラメータおよび誤差項の線形関数であること。
- 無作為抽出 / 厳密な外生性（Strict Exogeneity）： 説明変数が与えられたもとでの誤差項の条件付き期待値がゼロであること、\( E[\epsilon | X] = 0 \)。これは説明変数と誤差項が無相関であることを意味します。
- 完全な共線性の不在（No Perfect Collinearity）： どの独立変数も、他の独立変数の完全な線形結合ではないこと。
- 球状誤差（Spherical Errors）：
  1. 均一分散（Homoskedasticity）： 誤差項が一定の条件付き分散を持つこと、\( \text{Var}(\epsilon_i | X) = \sigma^2 \)。
  2. 自己相関の不在（No Autocorrelation）： 異なる観測値間で誤差項に相関がないこと、\( i \neq j \) に対して \( \text{Cov}(\epsilon_i, \epsilon_j | X) = 0 \)。

これらの条件が満たされれば、OLSはBLUEとなります。さらに誤差項が正規分布に従う場合、OLS推定量は線形なものに限らず、すべての不偏推定量の中で最小分散不偏推定量（BUE）となります。

2. 不均一分散：変動する誤差分散

不均一分散とは？
不均一分散（Heteroskedasticity）は、観測値間で誤差項の分散が一定ではない場合に発生します。

たとえ話： 的の近くに立っているときは矢が密集して刺さるのに、遠く離れると大きく散らばってしまうアーチャーを想像してください。距離が離れるにつれて、矢の散らばり（分散）が拡大していますよね。これが不均一分散です。

不均一分散の種類

1. 非条件付き不均一分散（Unconditional Heteroskedasticity）： 分散は変化していますが、独立変数の値とは無関係です。これは通常、統計的推測を損なうものではありません。
2. 条件付き不均一分散（Conditional Heteroskedasticity）： 誤差分散が独立変数の水準に関連しています。標準的な仮説検定を歪めてしまうため、FRM試験で最も注意すべきはこれです。

結果、検出、および修正方法

結果： OLS係数推定量（\( \hat{\beta} \)）自体は不偏かつ一致推定量であり続けます。しかし、OLS標準誤差にバイアスが生じ（通常は過小評価される）、その結果 \( t \) 統計量が膨らんで、統計的有意性に関して誤った結論を導いてしまいます。

見つけ方：
- 残差プロット： 当てはめ値または説明変数に対して残差をプロットした散布図上で、明確な「扇形」や「じょうご型」のパターンが見られないか確認します。
- ブルッシュ・ペーガン検定（Breusch-Pagan Test）： 残差の二乗を独立変数に回帰させ、線形の分散依存性を検定する正式な手法です。
- ホワイト検定（White Test）： 残差の二乗を説明変数、その二乗項、および交差積に回帰させる検定で、特定の関数形式を仮定することなく、線形および非線形の両方の不均一分散を検出します。

修正方法： ホワイトの不均一分散一致標準誤差（ロバスト標準誤差）を算出します。これにより、係数推定量は変えずに標準誤差と \( t \) 統計量を修正できます。

3. 多重共線性：不完全共線性 vs 完全共線性

完全共線性（Perfect Collinearity）と不完全な多重共線性（Imperfect Multicollinearity）の間には重要な違いがあります：

- 完全共線性： 2つ以上の独立変数の間に完全な線形関係が存在する状態（例：\( X_2 = 2X_1 \)、あるいは切片項があるのにすべてのカテゴリを含めてしまい「ダミー変数の罠」に陥るケース）。完全共線性の下では、データ行列を反転（逆行列の計算が）できず、OLS推定を行うことは数学的に不可能です。
- 多重共線性（不完全）： 2つ以上の説明変数が、完全ではないものの、相互に高い相関を持っている状態です。

結果、検出、および修正方法

結果： OLS推定量は不偏かつ一致推定量のままです。しかし、標準誤差が過大に膨張するため、モデル全体の適合度指標が良好であっても、個々の \( t \) 統計量が小さく有意ではなくなってしまいます。また、データが少し変化しただけで係数が敏感に変動するようになります。

見つけ方：
- 高い \( R^2 \) と低い \( t \) 統計量： モデル全体の \( F \) 統計量は有意であるにもかかわらず、個々の説明変数は非有意に見えるという、典型的な診断上の兆候です。
- 相関行列： 説明変数間のペアごとの相関が非常に高い（例：\( |r| > 0.8 \)）かチェックします。
- 分散拡大要因（VIF）： 共線性によって推定係数の分散がどれほど拡大しているかを数値化します。\( \text{VIF} > 5 \) から \( 10 \) を超えると、深刻な多重共線性の疑いがあります。

修正方法： 重複している共線性の高い変数のうち一方を削除する、追加データを収集する、または相関する変数を変換する（例：差分をとる、主成分分析を行う）などの対応をとります。

4. 残差の可視化と外れ値の特定

残差診断は、回帰の妥当性を検証するための視覚的および数値的ツールを提供します：

- 残差の可視化： 残差（\( e_i \)）を当てはめ値（\( \hat{Y}_i \)）または独立変数（\( X_i \)）に対してプロットすることで、非線形性（曲線パターン）、不均一分散（じょうご型パターン）、または構造変化を迅速に検出できます。
- 外れ値（Outliers）： 他の観測値よりも大幅に大きな残差を持つ観測値であり、モデルの当てはまりがその点において極めて悪いことを示します。
- 高レバレッジ点（High Leverage Points）： 説明変数の値が極端である（\( X \) の標本平均から大きく離れている）観測値です。高いレバレッジを持つということは、その観測値が回帰直線に過度な影響を与える潜在性を持っていることを意味します。
- 影響力のある観測値（Influential Observations）： 外れ値であり、かつ高いレバレッジを併せ持つ観測値です。影響力のある観測値を取り除くと、推定された回帰係数が目に見えて大きく変化します。影響力の大きさは、一般にクックの距離（Cook's distance）やスチューデント化残差を用いて評価されます。

5. モデルの特定化：脱落変数 vs 無関係な説明変数

特定化エラー（Specification Error）は、変数の選択を誤ったり、誤った関数形式を採用したりすることから生じます：

- 脱落変数バイアス（Omitted Variable Bias）： \( Y \) に真の影響を与え、かつモデルに含まれる1つ以上の説明変数と相関している変数が漏れている場合に発生します。結果： モデルに含まれている変数のOLS推定値にバイアスが生じ、不一致推定量となります。
- 無関係な変数の追加（Including Irrelevant Regressors）： \( Y \) と何の関係もない変数が含まれている場合に発生します。結果： OLS推定値は不偏かつ一致推定量のままですが、推定量の分散が増大し（効率性が失われ）、標準誤差が大きくなります。
- 関数形式の誤特定（Functional Form Misspecification）： 非線形の関係に対して線形方程式を当てはめてしまうこと（ラムゼイのRESET検定などの検定で評価されます）。

6. モデル選択とバイアスとバリアンスのトレードオフ

説明変数を選択する際、リスクモデラーはバイアスとバリアンスのトレードオフ（Bias-Variance Trade-Off）に直面します：

- 過小適合 / アンダーフィッティング（高いバイアス、低いバリアンス）： 変数を削ると標本間でのパラメータ推定の分散は低く抑えられますが、必要な説明変数が脱落していると大きなバイアスが生じます。
- 過剰適合 / オーバーフィッティング（低いバイアス、高いバリアンス）： 多くの説明変数を含めると標本内バイアスが減少し \( R^2 \) は上昇しますが、パラメータ推定の分散が過大になり、モデルが標本のノイズにまで適合してしまうため、標本外（アウト・オブ・サンプル）での予測精度が悪化します。

モデル選択基準

通常、説明変数を追加しても決定係数 \( R^2 \) が減少することはありません。過剰適合を防ぐために、ペナルティ付きの基準が用いられます：

- 自由度調整済み決定係数（Adjusted \( R^2 \)）： 標本サイズ \( n \) に対する推定パラメータ数 \( k \) を考慮して調整します。不要な変数にペナルティを与えますが、そのペナルティは比較的緩やかです。
- 赤池情報量基準（AIC）： 尤度とパラメータ数のバランスを取り、モデルの複雑さにペナルティを与えます。標本外予測が主な目的である場合によく使用されます。
- ベイズ（シュワルツ）情報量基準（BIC）： \( \ln(n) \) に比例するペナルティを課すため、サンプルサイズが大きい場合、AICよりも追加パラメータに対して厳しいペナルティを与え、より簡潔な（パラメータの少ない）モデルを選好します。
- マローズの \( C_p \)（Mallows' \( C_p \)）： サブセットモデルの精度をフルモデルと比較するもので、\( C_p \approx k \) であれば不偏なモデルであることを示します。

7. 系列相関と残差の正規性

- 系列相関 / 自己相関（Serial Correlation / Autocorrelation）： ある期間の残差が隣接する期間の残差と相関している状態であり、時系列データでよく見られます。係数自体は不偏のままですが、標準誤差が過小評価されます。ダービン・ワトソン検定（DW検定）を用いて検出します（\( DW \approx 2 \) は系列相関なし、\( DW < 2 \) は正の系列相関を示す）。修正には、不均一分散と自己相関の両方を修正するニューイ・ウェスト標準誤差（HAC標準誤差）を使用します。
- 残差の正規性： 歪度（正規分布では0）と尖度（正規分布では3）を評価するジャック・ベラ検定（JB検定）を用いて検証します。JB統計量が有意である場合、正規性の仮定は棄却されます。

8. 診断テストまとめ

- 不均一分散： ブルッシュ・ペーガン検定またはホワイト検定で検出。ホワイトのロバスト標準誤差で修正。
- 完全共線性： 完全な線形従属関係。推定が不可能なため、重複する説明変数を削除して対処。
- 多重共線性： 高い \( R^2 \) と低い \( t \) 統計量、高いVIFにより検出。変数の削除または結合により修正。
- 脱落変数： バイアスと不一致性を引き起こす。脱落している変数をモデルに含めることで修正。
- 無関係な説明変数： 不偏性は保たれるが分散が増大する。AIC/BICを用いてモデルを刈り込む（整理する）ことで修正。
- 外れ値と影響力のある点： 残差プロット、レバレッジ値、クックの距離を調べて特定。