ยินดีต้อนรับสู่ Regression Diagnostics: "การตรวจสุขภาพ" สำหรับโมเดลของคุณ

ในการเดินทางบนเส้นทาง FRM จนถึงตอนนี้ คุณได้เรียนรู้วิธีการประมาณค่าการถดถอยเชิงเส้นด้วยวิธีกำลังสองน้อยที่สุด (Ordinary Least Squares - OLS) กันมาแล้ว แต่เราจะรู้ได้อย่างไรว่าโมเดลนั้นเชื่อถือได้จริงสำหรับการบริหารความเสี่ยง? โมเดลที่บกพร่องอาจนำไปสู่การคาดการณ์ความเสี่ยงที่ชี้นำผิดทาง สัดส่วนการป้องกันความเสี่ยง (hedge ratios) ที่ผิดพลาด และการตัดสินใจด้านการบริหารความเสี่ยงที่หายนะได้ Regression Diagnostics คือกระบวนการทดสอบว่าข้อสมมติฐานคลาสสิกของการถดถอยยังคงเป็นจริงหรือไม่ และช่วยระบุข้อบกพร่องที่อาจเกิดขึ้นในโมเดล

1. เงื่อนไขที่ทำให้ OLS เป็น BLUE

ตาม Gauss-Markov Theorem ตัวประมาณค่า OLS จะเป็น "ตัวประมาณค่าเชิงเส้นที่ดีที่สุดและไม่ลำเอียง" (Best Linear Unbiased Estimator - BLUE)—หมายความว่ามีค่าความแปรปรวนต่ำที่สุดในบรรดาตัวประมาณค่าเชิงเส้นที่ไม่ลำเอียงทั้งหมด—หากเป็นไปตามเงื่อนไขต่อไปนี้:

- Linearity in Parameters: ตัวแปรตามเป็นฟังก์ชันเชิงเส้นของพารามิเตอร์ประชากรและพจน์ค่าความคลาดเคลื่อน (error term)
- Random Sampling / Strict Exogeneity: ค่าคาดหมายมีเงื่อนไขของพจน์ค่าความคลาดเคลื่อนเมื่อทราบค่าตัวแปรอิสระมีค่าเป็นศูนย์, \( E[\epsilon | X] = 0 \) ซึ่งบ่งชี้ว่าตัวแปรอิสระไม่มีความสัมพันธ์กับพจน์ค่าความคลาดเคลื่อน
- No Perfect Collinearity: ไม่มีตัวแปรอิสระตัวใดที่เป็นผลรวมเชิงเส้นที่แท้จริง (exact linear combination) ของตัวแปรอิสระตัวอื่น
- Spherical Errors:
  1. Homoskedasticity: พจน์ค่าความคลาดเคลื่อนมีความแปรปรวนแบบมีเงื่อนไขคงที่, \( \text{Var}(\epsilon_i | X) = \sigma^2 \)
  2. No Autocorrelation: พจน์ค่าความคลาดเคลื่อนไม่มีความสัมพันธ์กันเองระหว่างค่าสังเกตที่ต่างกัน, \( \text{Cov}(\epsilon_i, \epsilon_j | X) = 0 \) สำหรับ \( i \neq j \)

หากเงื่อนไขเหล่านี้เป็นจริง OLS จะเป็น BLUE และหากพจน์ค่าความคลาดเคลื่อนมีการแจกแจงแบบปกติร่วมด้วย ตัวประมาณค่า OLS จะเป็นตัวประมาณค่าที่ไม่ลำเอียงและมีความแปรปรวนต่ำที่สุดในบรรดาตัวประมาณค่าที่ไม่ลำเอียง ทั้งหมด (BUE) ไม่ใช่เฉพาะแค่ตัวประมาณค่าเชิงเส้นเท่านั้น

2. Heteroskedasticity: เมื่อความแปรปรวนของค่าความคลาดเคลื่อนไม่คงที่

มันคืออะไร?
Heteroskedasticity เกิดขึ้นเมื่อความแปรปรวนของพจน์ค่าความคลาดเคลื่อนนั้นไม่คงที่ตลอดทุกค่าสังเกต

เปรียบเทียบ: ลองนึกภาพนักยิงธนูที่ลูกธนูเกาะกลุ่มกันแน่นเมื่อยืนใกล้เป้า แต่กลับกระจายตัวสะเปะสะปะกว้างขึ้นเมื่อยืนระยะไกล ความแปรปรวนของลูกธนูขยายตัวตามระยะทาง นั่นแหละคือ heteroskedasticity

ประเภทของ Heteroskedasticity

1. Unconditional Heteroskedasticity: ความแปรปรวนเปลี่ยนแปลงไปแต่ไม่ได้เกี่ยวข้องกับค่าของตัวแปรอิสระ ซึ่งโดยทั่วไปจะไม่ทำให้การอนุมานทางสถิติเสียหาย
2. Conditional Heteroskedasticity: ความแปรปรวนของค่าความคลาดเคลื่อนมีความเชื่อมโยงกับระดับของตัวแปรอิสระ นี่คือประเด็นสำคัญในข้อสอบ FRM เพราะมันทำให้การทดสอบสมมติฐานมาตรฐานบิดเบือนไป

ผลกระทบ การตรวจสอบ และวิธีแก้ไข

ผลกระทบ: ค่าประมาณสัมประสิทธิ์ OLS (\( \hat{\beta} \)) ยังคง ไม่ลำเอียงและมีความต้องกัน (unbiased and consistent) อย่างไรก็ตาม ค่าความคลาดเคลื่อนมาตรฐาน (standard errors) ของ OLS จะลำเอียง (มักถูกประเมินต่ำเกินไป) นำไปสู่ค่า \( t \)-statistics ที่สูงเกินจริงและได้ข้อสรุปที่ผิดพลาดเกี่ยวกับนัยสำคัญทางสถิติ

วิธีตรวจสอบ:
- Residual Plots: แผนภาพกระจายของ residuals เทียบกับค่าที่ทำนายได้ (fitted values) หรือตัวแปรอิสระ ซึ่งแสดงรูปทรงแบบ "พัด" หรือ "กรวย" อย่างชัดเจน
- Breusch-Pagan Test: การทดสอบอย่างเป็นทางการโดยนำค่า squared residuals มาถดถอยกับตัวแปรอิสระเพื่อทดสอบการขึ้นต่อกันของความแปรปรวนในเชิงเส้น
- White Test: การทดสอบโดยนำค่า squared residuals มาถดถอยกับตัวแปรอิสระ ยกกำลังสองของตัวแปรอิสระ และผลคูณไขว้ (cross-products) ซึ่งสามารถตรวจจับ heteroskedasticity ทั้งแบบเชิงเส้นและไม่ใช่เชิงเส้น โดยไม่จำเป็นต้องสมมติรูปแบบฟังก์ชันเฉพาะ

วิธีแก้ไข: คำนวณ White's Heteroskedasticity-Consistent Standard Errors (robust standard errors) ซึ่งจะช่วยปรับค่า standard errors และค่า \( t \)-statistics ให้ถูกต้องโดยไม่เปลี่ยนแปลงค่าประมาณสัมประสิทธิ์

3. Multicollinearity: Imperfect Collinearity เทียบกับ Perfect Collinearity

มีความแตกต่างที่สำคัญอย่างยิ่งระหว่าง perfect collinearity และ imperfect multicollinearity:

- Perfect Collinearity: มีความสัมพันธ์เชิงเส้นที่แน่นอนระหว่างตัวแปรอิสระตั้งแต่สองตัวขึ้นไป (เช่น \( X_2 = 2X_1 \) หรือการตกหลุมพราง "dummy variable trap" โดยการใส่ตัวแปรกลุ่มทุกกลุ่มร่วมกับค่าคงที่) ภายใต้สภาวะ perfect collinearity เมทริกซ์ข้อมูลจะไม่สามารถหาอินเวิร์ส (invert) ได้ และการประมาณค่า OLS จะเป็นไปไม่ได้ในทางคณิตศาสตร์
- Multicollinearity (Imperfect): ตัวแปรอธิบายตั้งแต่สองตัวขึ้นไปมีความสัมพันธ์กันสูงมาก แต่ไม่ได้เป็นความสัมพันธ์เชิงเส้นที่สมบูรณ์แบบ

ผลกระทบ การตรวจสอบ และวิธีแก้ไข

ผลกระทบ: ตัวประมาณค่า OLS ยังคง ไม่ลำเอียงและมีความต้องกัน อย่างไรก็ตาม standard errors จะพุ่งสูงขึ้น ทำให้ค่า \( t \)-statistics รายตัวมีขนาดเล็กและไม่มีนัยสำคัญ แม้ว่าการวัดความเหมาะสมโดยรวมของโมเดล (goodness-of-fit) จะยังคงแข็งแกร่งก็ตาม นอกจากนี้ ค่าสัมประสิทธิ์ยังมีความอ่อนไหวต่อการเปลี่ยนแปลงของข้อมูลเพียงเล็กน้อยอีกด้วย

วิธีตรวจสอบ:
- ค่า \( R^2 \) สูงแต่ค่า \( t \)-Statistics ต่ำ: อาการเตือนแบบคลาสสิกที่ค่า \( F \)-statistic โดยรวมมีนัยสำคัญ แต่ตัวแปรอิสระรายตัวกลับดูไม่มีนัยสำคัญ
- Correlation Matrix: ค่าสหสัมพันธ์แบบจับคู่ระหว่างตัวแปรอิสระอยู่ในระดับสูง (เช่น \( |r| > 0.8 \))
- Variance Inflation Factor (VIF): วัดว่าความแปรปรวนของสัมประสิทธิ์ที่ประมาณได้ถูกขยายขึ้นเท่าใดเนื่องจาก collinearity โดยค่า \( \text{VIF} > 5 \) ถึง \( 10 \) บ่งชี้ว่ามีปัญหา multicollinearity รุนแรง

วิธีแก้ไข: ตัดตัวแปร collinear ที่ซ้ำซ้อนออกหนึ่งตัว เก็บข้อมูลเพิ่มเติม หรือแปลงตัวแปรที่มีความสัมพันธ์กัน (เช่น การหาผลต่าง หรือการสร้างตัวแปรองค์ประกอบหลัก - principal components)

4. การแสดงภาพ Residuals และการระบุ Outliers

การตรวจวินิจฉัยค่า residuals ให้เครื่องมือทั้งในเชิงภาพและเชิงตัวเลขเพื่อยืนยันความเพียงพอของโมเดลการถดถอย:

- Visualizing Residuals: การพล็อต residuals (\( e_i \)) เทียบกับค่าที่ทำนายได้ (\( \hat{Y}_i \)) หรือตัวแปรอิสระ (\( X_i \)) ช่วยให้ตรวจจับความไม่เป็นเส้นตรง (รูปแบบเส้นโค้ง) heteroskedasticity (รูปแบบกรวย) หรือการเปลี่ยนแปลงเชิงโครงสร้าง (structural breaks) ได้อย่างรวดเร็ว
- Outliers: ค่าสังเกตที่มี residual ใหญ่กว่าจุดอื่นอย่างเห็นได้ชัด ซึ่งบ่งบอกว่าโมเดลฟิตกับจุดข้อมูลนั้นได้ไม่ดี
- High Leverage Points: ค่าสังเกตที่มีค่าในตัวแปรอธิบายสุดโต่ง (ห่างไกลจากค่าเฉลี่ยตัวอย่างของ \( X \)) การมี leverage สูงหมายความว่าค่าสังเกตนั้นมีศักยภาพที่จะส่งผลกระทบต่อเส้นการถดถอยอย่างไม่สมส่วน
- Influential Observations: ค่าสังเกตที่เป็นทั้ง outlier และมี high leverage ซึ่งการตัดจุดที่มีอิทธิพลนี้ออกไปจะทำให้ค่าสัมประสิทธิ์การถดถอยที่ประมาณได้เคลื่อนไปอย่างเห็นได้ชัด โดยทั่วไปการประเมินจุดที่มีอิทธิพลสูงจะใช้ ระยะทางของคุก (Cook's distance) และ studentized residuals

5. Model Specification: ตัวแปรที่ถูกละเว้น เทียบกับ ตัวแปรอธิบายที่ไม่เกี่ยวข้อง

ความผิดพลาดในการกำหนดรูปแบบโมเดล (Specification errors) เกิดจากการเลือกชุดตัวแปรที่ไม่ถูกต้องหรือการใช้รูปแบบฟังก์ชันที่ผิด:

- Omitted Variable Bias: เกิดขึ้นเมื่อละทิ้งตัวแปรที่มีอิทธิพลต่อ \( Y \) อย่างแท้จริงและมีความสัมพันธ์กับตัวแปรอิสระที่มีอยู่ในโมเดล ผลกระทบ: ค่าประมาณ OLS ของตัวแปรที่มีอยู่ในโมเดลจะ ลำเอียงและไม่สอดคล้อง (biased and inconsistent)
- Including Irrelevant Regressors: เกิดขึ้นเมื่อใส่ตัวแปรที่ไม่มีความสัมพันธ์กับ \( Y \) เข้าไปในโมเดล ผลกระทบ: ค่าประมาณ OLS ยังคง ไม่ลำเอียงและมีความต้องกัน แต่ความแปรปรวนในการประมาณค่าจะเพิ่มขึ้น (สูญเสียประสิทธิภาพ) ทำให้ standard errors กว้างขึ้น
- Functional Form Misspecification: การนำสมการเชิงเส้นไปจับคู่กับความสัมพันธ์ที่ไม่เป็นเชิงเส้น (ประเมินผ่านแบบทดสอบ เช่น Ramsey's RESET test)

6. การเลือกโมเดลและ Bias-Variance Trade-Off

เมื่อต้องคัดเลือกตัวแปรอิสระ ผู้สร้างโมเดลความเสี่ยงจะต้องเผชิญกับ การแลกเปลี่ยนระหว่างความลำเอียงและความแปรปรวน (bias-variance trade-off):

- Underfitting (ความลำเอียงสูง ความแปรปรวนต่ำ): การละเว้นตัวแปรช่วยรักษาความแปรปรวนในการประมาณค่าพารามิเตอร์ข้ามกลุ่มตัวอย่างให้อยู่ในระดับต่ำ แต่จะทำให้เกิดความลำเอียงอย่างมากหากละทิ้งตัวแปรอิสระที่เกี่ยวข้องไป
- Overfitting (ความลำเอียงต่ำ ความแปรปรวนสูง): การใส่ตัวแปรอิสระจำนวนมากช่วยลดความลำเอียงในกลุ่มตัวอย่างและทำให้ \( R^2 \) พุ่งสูงขึ้น แต่จะเพิ่มความแปรปรวนในการประมาณค่าพารามิเตอร์ ทำให้โมเดลเรียนรู้สัญญาณรบกวน (noise) ในกลุ่มตัวอย่างและพยากรณ์นอกกลุ่มตัวอย่างได้แย่ลง

เกณฑ์การคัดเลือกโมเดล

ค่า \( R^2 \) มาตรฐานจะไม่มีทางลดลงเมื่อมีการเพิ่มตัวแปรอิสระ เพื่อป้องกันปัญหา overfitting จึงมีการใช้เกณฑ์ที่มีการปรับลดคะแนน (penalized criteria):

- Adjusted \( R^2 \): ปรับค่าตามจำนวนพารามิเตอร์ที่ประมาณ \( k \) เทียบกับขนาดกลุ่มตัวอย่าง \( n \) โดยจะลงโทษตัวแปรที่ไม่จำเป็น แต่บทลงโทษค่อนข้างน้อย
- Akaike Information Criterion (AIC): สร้างสมดุลระหว่างความควรจะเป็น (likelihood) กับจำนวนพารามิเตอร์ โดยลงโทษความซับซ้อนของโมเดล มักใช้เมื่อเป้าหมายหลักคือการพยากรณ์นอกกลุ่มตัวอย่าง
- Bayesian (Schwarz) Information Criterion (BIC): กำหนดบทลงโทษที่เป็นสัดส่วนกับ \( \ln(n) \) ซึ่งลงโทษพารามิเตอร์ส่วนเกินรุนแรงกว่า AIC เมื่อขนาดตัวอย่างมีขนาดใหญ่ จึงสนับสนุนโมเดลที่มีความกะทัดรัด (parsimonious) มากกว่า
- Mallows' \( C_p \): เปรียบเทียบความแม่นยำของโมเดลย่อยกับโมเดลเต็ม โดยค่า \( C_p \approx k \) บ่งชี้ว่าเป็นโมเดลที่ไม่ลำเอียง

7. Serial Correlation และความเป็นปกติของ Residual

- Serial Correlation (Autocorrelation): Residuals ในงวดหนึ่งมีความสัมพันธ์กับงวดที่อยู่ติดกัน พบบ่อยในข้อมูลอนุกรมเวลา แม้ว่าค่าสัมประสิทธิ์จะยังคงไม่ลำเอียง แต่ standard errors จะถูกประเมินต่ำเกินไป ตรวจสอบได้โดยใช้ Durbin-Watson (DW) test (โดยที่ \( DW \approx 2 \) หมายถึงไม่มี serial correlation และ \( DW < 2 \) บ่งชี้ว่ามี positive serial correlation) แก้ไขโดยใช้ Newey-West standard errors (HAC standard errors) ซึ่งช่วยแก้ไขทั้ง heteroskedasticity และ autocorrelation
- Normality of Residuals: ประเมินโดยใช้ Jarque-Bera (JB) test ซึ่งพิจารณาจาก skewness (คาดหวังเป็น 0 ภายใต้การแจกแจงแบบปกติ) และ kurtosis (คาดหวังเป็น 3) หากค่าสถิติ JB มีนัยสำคัญ จะปฏิเสธสมมติฐานเรื่องความเป็นปกติ

8. ตารางสรุปการตรวจวินิจฉัยโมเดล

- Heteroskedasticity: ตรวจสอบด้วย Breusch-Pagan / White test แก้ไขด้วย White robust standard errors
- Perfect Collinearity: มีความสัมพันธ์เชิงเส้นที่สมบูรณ์ การประมาณค่าล้มเหลว แก้ไขโดยตัดตัวแปรอิสระที่ซ้ำซ้อนออก
- Multicollinearity: ตรวจพบจากค่า \( R^2 \) สูงแต่ค่า \( t \)-stats ต่ำ หรือค่า VIF สูง แก้ไขโดยการตัดหรือรวมตัวแปรเข้าด้วยกัน
- Omitted Variable: ทำให้เกิดความลำเอียงและขาดความต้องกัน แก้ไขโดยการใส่ตัวแปรที่ถูกละเว้นนั้นกลับเข้ามา
- Irrelevant Regressor: ยังคงความไม่ลำเอียงไว้ได้แต่ทำให้ความแปรปรวนสูงขึ้น แก้ไขโดยการตัดทอนโมเดลโดยใช้ AIC/BIC
- Outliers & Influential Points: ตรวจสอบแผนภาพ residuals ค่า leverage และ Cook's distance