ยินดีต้อนรับสู่บทเรียนการทำความสะอาดข้อมูล (Data Cleaning)!

สวัสดีครับ! ยินดีต้อนรับเข้าสู่หนึ่งในบทที่สำคัญที่สุดในการเดินทางเตรียมสอบ Exam ATPA ของคุณ คุณอาจเคยได้ยินวลีที่ว่า "ขยะเข้า ขยะออก" (Garbage in, garbage out) ในงานด้านการวิเคราะห์เชิงทำนาย (Predictive Analytics) โมเดลของคุณจะดีได้เท่ากับคุณภาพของข้อมูลที่คุณป้อนเข้าไปเท่านั้น ในโลกความเป็นจริง ข้อมูลมักจะไม่เรียบร้อย—มันอาจมีรูโหว่ (ค่าที่ขาดหายไป) และมีเรื่องเซอร์ไพรส์แปลกๆ (ค่าผิดปกติ) ในบทนี้ เราจะมาเรียนรู้วิธีสังเกตปัญหาเหล่านี้ และที่สำคัญกว่านั้นคือวิธีแก้ไขเพื่อให้โมเดลของคุณเปล่งประกายได้อย่างเต็มที่!

ส่วนที่ 1: การจัดการกับค่าผิดปกติ (Outliers)

ลองจินตนาการว่าคุณกำลังดูความสูงของกลุ่มผู้ใหญ่ คนส่วนใหญ่อาจจะสูงระหว่าง 5 ถึง 6 ฟุต แต่ทันใดนั้น คุณกลับเห็นบันทึกของคนที่สูงถึง 12 ฟุต! นั่นคือ ค่าผิดปกติ (Outlier) ซึ่งก็คือจุดข้อมูลที่มีความแตกต่างจากข้อมูลส่วนใหญ่อย่างเห็นได้ชัด

ค่าผิดปกติคืออะไรกันแน่?

ค่าผิดปกติ (Outlier) คือข้อมูลที่อยู่นอกระยะห่างปกติเมื่อเทียบกับค่าอื่นๆ ในกลุ่มตัวอย่างที่สุ่มมาจากประชากร ซึ่งค่าผิดปกติอาจเกิดจาก:
1. ความผิดพลาดในการป้อนข้อมูล: มีคนพิมพ์ "120" แทนที่จะเป็น "12"
2. ความผิดพลาดในการวัดผล: อุปกรณ์เซนเซอร์ทำงานผิดพลาด
3. ความแปรปรวนตามธรรมชาติ: บางครั้งค่าสุดโต่งก็เป็นเรื่องจริง (เช่น รายได้ของมหาเศรษฐีในการศึกษาเกี่ยวกับเงินเดือนเฉลี่ย)

ค่าผิดปกติแบบตัวแปรเดียวเทียบกับหลายตัวแปร (Univariate vs. Multivariate Outliers)

ในการวิเคราะห์เชิงทำนายและงานด้านคณิตศาสตร์ประกันภัย ค่าผิดปกติแบ่งออกเป็นสองรูปแบบหลัก:
• ค่าผิดปกติแบบตัวแปรเดียว (Univariate outliers): ข้อมูลที่มีค่าสุดโต่งหรือผิดปกติใน ตัวแปรเดียว (เช่น เงินเดือนประจำปี \$10,000,000 ในขณะที่ช่วงข้อมูลทั่วไปอยู่ที่ \$40,000 ถึง \$150,000)
• ค่าผิดปกติแบบหลายตัวแปร (Multivariate outliers): ข้อมูลที่ดูเป็นปกติดีทุกอย่างเมื่อตรวจสอบแต่ละตัวแปรแยกกัน แต่กลับเป็นการรวมกันที่ผิดปกติ เป็นไปไม่ได้ หรือสุดโต่งเมื่อพิจารณาสองตัวแปรขึ้นไปพร้อมๆ กัน ตัวอย่างเช่น คนที่มีอายุ \(12\) ปีและมีประสบการณ์ขับรถ \(10\) ปี หรือบ้านที่มี \(1\) ห้องนอนแต่มี \(8\) ห้องน้ำ แต่ละค่าเมื่อพิจารณาเดี่ยวๆ อาจดูสมเหตุสมผลในชุดข้อมูล แต่เมื่อรวมกันแล้วถือว่าผิดปกติอย่างยิ่ง

วิธีสังเกตค่าผิดปกติ

ไม่ต้องกังวลถ้าคุณมองหาพวกมันไม่เจอจากการจ้องมองสเปรดชีต! เรามีเครื่องมือช่วยสำหรับทั้งสองรูปแบบ:
การตรวจจับแบบตัวแปรเดียว:
• Boxplots: จุดใดก็ตามที่ถูกพล็อตเป็นจุดแยกออกมานอก "หนวด" (whiskers) จะถูกระบุว่าเป็นค่าผิดปกติที่อาจเกิดขึ้นได้
• กฎ IQR: ในทางคณิตศาสตร์ เรามักเรียกจุดว่าเป็นค่าผิดปกติหากมันตกอยู่ต่ำกว่า \(Q_1 - 1.5 \times IQR\) หรือสูงกว่า \(Q_3 + 1.5 \times IQR\)
• Z-Scores: หากข้อมูลมีค่า \(Z\)-score ที่สอดคล้องกับ \(|Z| > 3\) แสดงว่าจุดนั้นอยู่ห่างจากค่าเฉลี่ยเกินกว่า 3 เท่าของส่วนเบี่ยงเบนมาตรฐาน และถูกระบุว่าเป็นค่าผิดปกติที่อาจเกิดขึ้นได้

การตรวจจับแบบหลายตัวแปร:
• Scatterplots และ Scatterplot Matrices: กราฟแบบสองตัวแปรช่วยให้เห็นภาพความสัมพันธ์ระหว่างคู่ตัวแปร เพื่อเผยให้เห็นจุดที่เบี่ยงเบนไปจากรูปแบบสหสัมพันธ์โดยรวม
• ระยะทางมาฮาลาโนบิส (Mahalanobis Distance): ตัวชี้วัดทางสถิติที่วัดระยะห่างระหว่างจุดข้อมูลกับค่าเฉลี่ยหลายตัวแปร (centroid) โดยคำนึงถึงสหสัมพันธ์และความแปรปรวนร่วมระหว่างตัวแปรทั้งหมด ข้อมูลที่มีระยะทางมาฮาลาโนบิสสูงจะถือเป็นค่าผิดปกติแบบหลายตัวแปร แม้ว่าค่าพิกัดเดี่ยวๆ ของมันจะไม่เป็นค่าผิดปกติแบบตัวแปรเดียวเลยก็ตาม

เราควรทำอย่างไรกับมันดี?

เมื่อคุณพบค่าผิดปกติแล้ว คุณมีทางเลือกหลักๆ 3 ทาง:
1. เก็บไว้: ถ้าคุณเชื่อว่าข้อมูลนั้นถูกต้องและแสดงถึงปรากฏการณ์จริง (แม้จะพบได้ยาก)
2. ลบทิ้ง: หากคุณมั่นใจว่าเป็นข้อผิดพลาด หรือมันจะสร้างความลำเอียง (Bias) ให้กับโมเดลของคุณมากเกินไป
3. แปลงข้อมูล/จำกัดค่า (Transform/Cap): สิ่งนี้มักเรียกว่า Winsorization โดยคุณจะแทนที่ค่าที่สุดโต่งด้วยค่าที่น้อยกว่า (เช่น ค่าที่เปอร์เซ็นไทล์ที่ 99)

ทบทวนสั้นๆ: ค่าผิดปกติสามารถดึงค่าเฉลี่ย ทำให้ความแปรปรวนของคุณสูงเกินจริง และบิดเบือนสัมประสิทธิ์ของโมเดลได้ ดังนั้นจงตรวจสอบให้ดีก่อนกด "ลบ" ทิ้ง!

ข้อควรจำ:

ค่าผิดปกติไม่ใช่ "ข้อมูลที่แย่" เสมอไป มันแค่เป็น "ข้อมูลที่แตกต่าง" หน้าที่ของคุณคือตรวจสอบความผิดปกติทั้งแบบตัวแปรเดียวและหลายตัวแปร และตัดสินใจว่ามันเป็นสัญญาณที่มีประโยชน์ หรือเป็นเพียงสัญญาณรบกวน (Noise) ที่กวนใจเท่านั้น

ส่วนที่ 2: ข้อมูลที่ขาดหายไป (Missing Data) – "รูโหว่" ในชุดข้อมูลของคุณ

ข้อมูลที่ขาดหายไปเกิดขึ้นเมื่อไม่มีค่าจัดเก็บไว้สำหรับตัวแปรในบันทึกรายการนั้นๆ นี่เป็นปัญหาที่น่าปวดหัวบ่อยครั้งในงานคณิตศาสตร์ประกันภัย ไม่ว่าจะเป็นกรณีที่ผู้ถือกรมธรรม์ไม่ตอบคำถามในแบบสำรวจ หรือระบบล้มเหลวจนบันทึกธุรกรรมไม่ได้

ทำไมข้อมูลที่ขาดหายไปถึงเป็นปัญหา?

โมเดลเชิงทำนายส่วนใหญ่ (เช่น GLMs แบบมาตรฐาน) ไม่สามารถจัดการกับค่าที่ขาดหายไปได้ หากแถวหนึ่งมีข้อมูลหายไป ซอฟต์แวร์อาจเลือกที่จะลบข้อมูลทั้งแถวนั้นทิ้ง ซึ่งเป็นการสูญเสียข้อมูลส่วนอื่นในคอลัมน์ที่สมบูรณ์ไปอย่างน่าเสียดาย!

ประเภทของการขาดหายไปของข้อมูล 3 แบบ

เพื่อแก้ไขปัญหานี้ เราต้องเข้าใจก่อนว่า ทำไม ข้อมูลถึงหายไป:
1. Missing Completely at Random (MCAR): ไม่มีรูปแบบการหายที่ชัดเจน เปรียบเสมือนใครบางคนทำกาแฟหกใส่สมุดบัญชีในหน้าแบบสุ่ม
2. Missing at Random (MAR): ข้อมูลที่หายไปมีความเกี่ยวข้องกับ ข้อมูลอื่นๆ ที่เราสังเกตเห็น เช่น ผู้ชายอาจมีแนวโน้มที่จะไม่ตอบคำถามเรื่องน้ำหนักในแบบสำรวจน้อยกว่าผู้หญิง
3. Missing Not at Random (MNAR): ข้อมูลที่หายไปมีความเกี่ยวข้องกับตัวมันเองที่หายไป เช่น คนที่มีรายได้สูงมากอาจปฏิเสธที่จะแจ้งรายได้ของตนในแบบฟอร์ม

คุณทราบหรือไม่? MNAR เป็นกรณีที่จัดการยากที่สุด เพราะเหตุผลของการหายไปนั้น "ซ่อนอยู่" ภายในตัวข้อมูลที่หายไปเองนั่นแหละ!

กลยุทธ์การจัดการข้อมูลที่ขาดหายไป

1. การลบข้อมูลรายการนั้นทิ้ง (Deletion of the Record)
• Listwise Deletion: ลบทั้งแถวทิ้งถ้ามีค่าใดค่าหนึ่งหายไป วิธีนี้ทำง่ายแต่อาจนำไปสู่การเสียข้อมูลจำนวนมหาศาล
• เมื่อไหร่ที่ควรใช้: เฉพาะเมื่อปริมาณข้อมูลที่ขาดหายมีน้อยมาก และกลไกการขาดหายเป็นกรณีแบบ MCAR เท่านั้น

2. การเติมข้อมูล (Imputation)
Imputation หมายถึงการเติม "รูโหว่" ด้วยค่าที่เราประมาณการขึ้นมา
• Mean/Median/Mode Imputation: เติมช่องว่างด้วยแนวโน้มเข้าสู่ส่วนกลางของคอลัมน์นั้น คำเตือน: วิธีนี้จะลดความแปรปรวนของข้อมูลและอาจนำไปสู่โมเดลที่มั่นใจในตัวเองมากเกินไป (Overconfident)!
• Predictive Imputation: ใช้โมเดลขนาดเล็ก (เช่น การวิเคราะห์การถดถอย หรือ \(k\)-nearest neighbors) เพื่อทำนายว่าค่าที่ขาดไปควรเป็นเท่าใดโดยดูจากตัวแปรอื่นๆ

3. การเพิ่มตัวบ่งชี้ค่าที่ขาดหาย (Adding a Missing-Value Flag)
แทนที่จะเติมค่าเพียงอย่างเดียว คุณสามารถสร้าง ตัวบ่งชี้ค่าที่ขาดหาย (Missing-value flag) แบบทวิภาคที่ชัดเจนขึ้นมาได้ (เช่น \(Is\_Missing = 1\) หากขาดหาย และ \(0\) ในกรณีอื่นๆ) ส่วนตัวแปรต้นฉบับให้คุณแทนที่ข้อมูลที่หายไปด้วยค่าคงที่ (เช่น ค่ามัธยฐาน หรือ \(0\)) วิธีนี้จะช่วยให้โมเดลสามารถจับประเด็นได้ว่า ความจริงที่ว่าข้อมูลขาดหายไป นั้นมีข้อมูลเชิงทำนายในตัวของมันเองหรือไม่!

ข้อควรจำ:

อย่าละเลยข้อมูลที่ขาดหายไปเด็ดขาด การเลือกที่จะ "ไม่ทำอะไรเลย" ก็เท่ากับการปล่อยให้ซอฟต์แวร์ลบแถวนั้นทิ้งไป ซึ่งอาจทำให้ผลลัพธ์ของคุณเกิดความลำเอียงได้

ส่วนที่ 3: กับดักทั่วไปและเคล็ดลับ

ข้อผิดพลาดที่ควรหลีกเลี่ยง

• อย่าลบสุ่มสี่สุ่มห้า: หากคอลัมน์หนึ่งมีข้อมูลหายไป 40% การลบแถวเหล่านั้นทิ้งจะทำลายชุดข้อมูลของคุณ ลองพิจารณาลบคอลัมน์นั้นออกแทนการลบแถวดูสิ
• ระวังข้อมูลที่ขาดหายแบบ "ซ่อนอยู่": บางครั้งข้อมูลที่หายไปไม่ได้เป็นช่องว่าง แต่อาจถูกบันทึกเป็น "999", "Unknown", หรือ "0" ให้ตรวจสอบ สถิติสรุป (Summary Statistics) ของคุณเสมอเพื่อดูว่ามีค่าใดที่ดูน่าสงสัยหรือไม่
• การเติมค่าในตัวแปรเป้าหมาย (Target): โดยทั่วไปแล้ว คุณ ไม่ควร เติมค่าให้ตัวแปรเป้าหมาย (สิ่งที่คุณกำลังพยายามทำนาย) ให้ลบแถวเหล่านั้นออกไปเลยจะดีกว่า

การเปรียบเทียบง่ายๆ

ลองนึกภาพการทำความสะอาดข้อมูลเหมือนกับการเตรียมอาหาร ค่าผิดปกติ (Outliers) ก็เหมือนพริกเม็ดเดียวที่เผ็ดกว่าปกติ 100 เท่า—ถ้าคุณใส่มันลงไป มันอาจทำลายรสชาติอาหารทั้งจานสำหรับทุกคนได้ ส่วน ข้อมูลที่ขาดหายไป (Missing data) ก็เหมือนวัตถุดิบที่ขาดไปในสูตรอาหาร—คุณอาจเลือกข้ามเมนูนั้นไป (Deletion), หาอย่างอื่นที่มีลักษณะคล้ายกันมาใส่แทน (Imputation), หรือตระหนักว่าการที่วัตถุดิบขาดหายไปเป็นสัญญาณบอกว่าเชฟลืมซื้อของ (Missing-value flag)

เช็คลิสต์สรุปสำหรับการสอบ

• ระบุค่าผิดปกติ (Identify Outliers): ตรวจสอบทั้งค่าผิดปกติแบบตัวแปรเดียว (Boxplots, IQR, \(Z\)-scores) และค่าผิดปกติแบบหลายตัวแปร (Scatterplot matrices, Mahalanobis distance)
• วินิจฉัยการขาดหาย (Diagnose Missingness): ระบุว่ากลไกการขาดหายไปนั้นเป็น MCAR, MAR หรือ MNAR
• เลือกการดำเนินการ (Select Action): เลือกวิธีดำเนินการที่เหมาะสมระหว่างการลบข้อมูลรายการนั้นทิ้ง การเติมข้อมูล หรือการเพิ่มตัวบ่งชี้ค่าที่ขาดหาย โดยอิงตามกลไกและบริบททางธุรกิจ
• อธิบายและบันทึกเหตุผล (Document): ในรายงานการประเมินของการสอบ ATPA จงให้เหตุผลและอธิบายเป็นลายลักษณ์อักษรเสมอว่า ทำไม คุณถึงเลือกวิธีทำความสะอาดแบบนั้น

ลุยต่อไปครับ! คุณทำได้ดีมากแล้ว การเชี่ยวชาญด้านการทำความสะอาดข้อมูลคือรากฐานสำคัญของการเป็นนักวิเคราะห์เชิงทำนายระดับแนวหน้า เมื่อข้อมูลของคุณสะอาดแล้ว ส่วนของการทำโมเดลเชิงทำนายจะกลายเป็นเรื่องง่ายขึ้นเยอะเลย!