Define and apply a Markov process

ยินดีต้อนรับสู่โลกของกระบวนการมาร์คอฟ (Markov Processes)!

สวัสดีครับ! ยินดีต้อนรับสู่บทเรียนหลักในเส้นทางการเรียนรู้ CS2 ของคุณ ในโซ่มาร์คอฟแบบเวลาไม่ต่อเนื่อง ระบบจะดำเนินไปทีละขั้นตามเวลาที่แน่นอน (เช่น การประเมินระบบส่วนลดประวัติดี หรือ No Claims Discount - NCD รายปี) อย่างไรก็ตาม โลกแห่งความเป็นจริงมักดำเนินไปอย่างต่อเนื่อง โดยผู้เอาประกันภัยสามารถเจ็บป่วย ฟื้นตัว หรือเสียชีวิตได้ทุกขณะเวลา

กระบวนการสุ่มแบบเวลาต่อเนื่องที่มีคุณสมบัติไร้ความจำ เรียกว่า กระบวนการมาร์คอฟ (Markov process) (โดยเฉพาะอย่างยิ่ง เรียกว่า กระบวนการกระโดดมาร์คอฟ (Markov jump process) เมื่อปริภูมิสถานะเป็นแบบไม่ต่อเนื่อง) ในบทนี้ เราจะกำหนดกลไกที่สำคัญของกระบวนการมาร์คอฟ สร้างสมการเชิงอนุพันธ์ที่ควบคุมกระบวนการ และนำไปประยุกต์ใช้กับแบบจำลองทางคณิตศาสตร์ประกันภัยมาตรฐาน

1. นิยามและคุณสมบัติมาร์คอฟในเวลาต่อเนื่อง

ให้ \( \{X_t : t \ge 0\} \) เป็นกระบวนการสุ่มแบบเวลาต่อเนื่องซึ่งมีค่าอยู่ในปริภูมิสถานะไม่ต่อเนื่อง \( S \) กระบวนการนี้จะมี คุณสมบัติมาร์คอฟ (Markov property) ก็ต่อเมื่อการแจกแจงความน่าจะเป็นของสถานะในอนาคตใดๆ ขึ้นอยู่กับสถานะปัจจุบันเท่านั้น และไม่ขึ้นอยู่กับประวัติความเป็นมาในอดีต

ในเชิงคณิตศาสตร์ สำหรับเวลาใดๆ \( 0 \le t_0 < t_1 < \dots < s < s+t \) และสถานะ \( x_0, x_1, \dots, i, j \in S \):

\( P(X_{s+t} = j \mid X_s = i, X_{t_n} = x_n, \dots, X_{t_0} = x_0) = P(X_{s+t} = j \mid X_s = i) \)

ในแง่ของฟิลเทรชัน (filtrations) โดยให้ \( \mathcal{F}_s \) แทนประวัติของกระบวนการจนถึงเวลา \( s \):

\( P(X_{s+t} = j \mid \mathcal{F}_s) = P(X_{s+t} = j \mid X_s) \)

เราเขียนแทนความน่าจะเป็นในการเปลี่ยนสถานะจากการย้ายจากสถานะ \( i \) ณ เวลา \( s \) ไปยังสถานะ \( j \) ณ เวลา \( s+t \) ด้วย \( p_{ij}(s, s+t) \) หากความน่าจะเป็นนี้ขึ้นอยู่กับระยะเวลาที่ผ่านไป \( t \) เพียงอย่างเดียว และไม่ขึ้นอยู่กับเวลาเริ่มต้น \( s \) กระบวนการนี้จะเรียกว่า Time-homogeneous และเขียนอย่างง่ายเป็น \( p_{ij}(t) \)

2. ความเข้มข้นของการเปลี่ยนสถานะและเมทริกซ์ตัวสร้าง

ในเวลาไม่ต่อเนื่อง การเปลี่ยนสถานะจะถูกควบคุมโดยความน่าจะเป็นในช่วงเวลาที่กำหนด ในเวลาต่อเนื่อง เราจะอธิบายการเคลื่อนที่ในชั่วขณะโดยใช้ ความเข้มข้นของการเปลี่ยนสถานะ (Transition intensities) (หรือเรียกว่า อัตราอันตราย (hazard rates) หรือแรงของการเปลี่ยนสถานะ (forces of transition))

นิยามของความเข้มข้นของการเปลี่ยนสถานะ

สำหรับ \( i \ne j \) ความเข้มข้นของการเปลี่ยนสถานะ \( \mu_{ij}(t) \) ณ เวลา \( t \) นิยามโดย:

\( \mu_{ij}(t) = \lim_{h \to 0^+} \frac{p_{ij}(t, t+h)}{h} \)

ซึ่งหมายความว่า ในช่วงเวลาขนาดเล็กมาก \( h \):

• \( p_{ij}(t, t+h) = \mu_{ij}(t) h + o(h) \) สำหรับ \( j \ne i \)
• \( p_{ii}(t, t+h) = 1 - \sum_{j \ne i} \mu_{ij}(t) h + o(h) = 1 + \mu_{ii}(t) h + o(h) \)

โดยที่ \( o(h) \) แทนพจน์ที่มีค่าเข้าสู่ศูนย์เร็วกว่า \( h \) เมื่อ \( h \to 0 \)

เรากำหนดสมาชิกบนเส้นทแยงมุมโดยให้ \( \mu_{ii}(t) = -\sum_{j \ne i} \mu_{ij}(t) \) เพื่อให้ผลรวมของแถวในเมทริกซ์ความเข้มข้นมีค่าเป็นศูนย์เสมอ

เมทริกซ์ตัวสร้าง (\( Q \))

เมื่อกระบวนการเป็น Time-homogeneous ค่าความเข้มข้นจะคงที่: \( \mu_{ij}(t) = \mu_{ij} \) เราจัดเรียงค่าเหล่านี้ลงใน เมทริกซ์ตัวสร้าง (Generator matrix) \( Q \):

\( Q = \begin{pmatrix} \mu_{11} & \mu_{12} & \mu_{13} \\ \mu_{21} & \mu_{22} & \mu_{23} \\ \mu_{31} & \mu_{32} & \mu_{33} \end{pmatrix} \)

กฎสำคัญสำหรับ \( Q \):

• สมาชิกนอกเส้นทแยงมุมต้องไม่เป็นลบ: \( \mu_{ij} \ge 0 \) สำหรับทุก \( i \ne j \)
• สมาชิกบนเส้นทแยงมุมต้องไม่เป็นบวก: \( \mu_{ii} \le 0 \)
• ทุกแถวต้องรวมกันได้ศูนย์: \( \sum_{j} \mu_{ij} = 0 \)

3. สมการเชิงอนุพันธ์คอลโมโกรอฟ (The Kolmogorov Differential Equations)

สมการเปรียบเทียบในเวลาต่อเนื่องของสมการแชปแมน-คอลโมโกรอฟ จะเชื่อมโยงความน่าจะเป็นในการเปลี่ยนสถานะเข้ากับความเข้มข้นของการเปลี่ยนสถานะผ่านสมการเชิงอนุพันธ์

กรณี Time-Homogeneous

สำหรับกระบวนการกระโดดมาร์คอฟที่เป็น Time-homogeneous เรามีสมการสองชุดที่สมมูลกัน:

1. สมการคอลโมโกรอฟไปข้างหน้า (Kolmogorov Forward Equations):
\( \frac{d}{dt} p_{ij}(t) = \sum_{k} p_{ik}(t) \mu_{kj} = \sum_{k \ne j} p_{ik}(t) \mu_{kj} + p_{ij}(t) \mu_{jj} \)
ในรูปเมทริกซ์: \( \frac{d}{dt} P(t) = P(t) Q \) โดยมีเงื่อนไขเริ่มต้น \( P(0) = I \)

2. สมการคอลโมโกรอฟย้อนกลับ (Kolmogorov Backward Equations):
\( \frac{d}{dt} p_{ij}(t) = \sum_{k} \mu_{ik} p_{kj}(t) = \sum_{k \ne i} \mu_{ik} p_{kj}(t) + \mu_{ii} p_{ij}(t) \)
ในรูปเมทริกซ์: \( \frac{d}{dt} P(t) = Q P(t) \)

กรณี Time-Inhomogeneous

เมื่อความเข้มข้นแปรผันตามเวลาหรืออายุ \( t \):

สมการไปข้างหน้า: \( \frac{\partial}{\partial t} p_{ij}(s, t) = \sum_{k} p_{ik}(s, t) \mu_{kj}(t) \)

สมการย้อนกลับ: \( \frac{\partial}{\partial s} p_{ij}(s, t) = -\sum_{k} \mu_{ik}(s) p_{kj}(s, t) \)

การแก้สมการคอลโมโกรอฟในกรณีอย่างง่าย

พิจารณาแบบจำลองการเสียชีวิตสองสถานะอย่างง่าย: สถานะ 0 (มีชีวิต) และสถานะ 1 (เสียชีวิต) โดยมีความเข้มข้นของการเปลี่ยนสถานะคงที่ \( \mu_{01} = \mu \) และสถานะ 1 เป็นสถานะดูดกลืน (absorbing state) (\( \mu_{10} = 0 \))

สมการไปข้างหน้าสำหรับการคงอยู่ในสถานะ 0 คือ:
\( \frac{d}{dt} p_{00}(t) = p_{00}(t) \mu_{00} = -\mu p_{00}(t) \)

โดยการแยกตัวแปรและใช้เงื่อนไข \( p_{00}(0) = 1 \):
\( p_{00}(t) = e^{-\mu t} \)

เนื่องจากผลรวมของความน่าจะเป็นต้องเท่ากับ 1:
\( p_{01}(t) = 1 - p_{00}(t) = 1 - e^{-\mu t} \)

4. เวลาการคงอยู่ โซ่การกระโดด และการจำลอง

กระบวนการกระโดดมาร์คอฟจะคงอยู่ในสถานะ \( i \) เป็นระยะเวลาสุ่ม ก่อนที่จะเปลี่ยนไปยังสถานะอื่น

การแจกแจงของเวลาการคงอยู่

เวลา \( T_i \) ที่ใช้ในสถานะ \( i \) ก่อนที่จะกระโดดไปยังสถานะอื่นใด เรียกว่า เวลาการคงอยู่ (Holding time) (หรือเวลารอคอย) เนื่องจากคุณสมบัติมาร์คอฟทำให้ \( T_i \) ไร้ความจำ ซึ่งหมายความว่ามันมีการแจกแจงแบบเอ็กซ์โพเนนเชียล (Exponential distribution):

\( T_i \sim \text{Exponential}(\lambda_i) \) โดยที่ \( \lambda_i = -\mu_{ii} = \sum_{j \ne i} \mu_{ij} \)

ค่าคาดหมายของเวลาการคงอยู่ในสถานะ \( i \) คือ \( E[T_i] = \frac{1}{\lambda_i} = \frac{1}{-\mu_{ii}} \)

โซ่การกระโดด (The Jump Chain)

เมื่อกระบวนการออกจากสถานะ \( i \) ความน่าจะเป็นที่มันจะกระโดดไปยังสถานะ \( j \) โดยเฉพาะ (สำหรับ \( j \ne i \)) กำหนดโดยความน่าจะเป็นของโซ่การกระโดดแฝง (embedded jump chain probability):

\( q_{ij} = \frac{\mu_{ij}}{\sum_{k \ne i} \mu_{ik}} = \frac{\mu_{ij}}{-\mu_{ii}} \)

การจำลองกระบวนการกระโดดมาร์คอฟ

เราสามารถจำลองวิถีตัวอย่าง (sample path) ของกระบวนการกระโดดมาร์คอฟทีละขั้นตอนได้ดังนี้:

• ขั้นตอนที่ 1: เริ่มต้นที่สถานะเริ่มต้น \( X_0 = i \) ณ เวลา \( t = 0 \)
• ขั้นตอนที่ 2: สร้างเวลาการคงอยู่ \( T \sim \text{Exponential}(-\mu_{ii}) \) โดยใช้จำนวนสุ่มเทียมแบบเอกรูป \( U_1 \sim U(0, 1) \): \( T = -\frac{\ln(U_1)}{-\mu_{ii}} \)
• ขั้นตอนที่ 3: อัปเดตเวลาปัจจุบันเป็น \( t + T \) หากเกินช่วงเวลาสูงสุดของการจำลอง ให้หยุดการทำงาน
• ขั้นตอนที่ 4: เลือกสถานะถัดไป \( j \ne i \) ตามความน่าจะเป็นในการกระโดดแบบไม่ต่อเนื่อง \( q_{ij} \) โดยใช้ตัวแปรสุ่มแบบเอกรูปตัวที่สองที่เป็นอิสระต่อกัน \( U_2 \)
• ขั้นตอนที่ 5: กำหนดให้ \( i = j \) และกลับไปยังขั้นตอนที่ 2

5. การประยุกต์ใช้ในทางคณิตศาสตร์ประกันภัย

1. กระบวนการปัวซอง (The Poisson Process)

กระบวนการปัวซองแบบเอกพันธุ์ (homogeneous Poisson process) ที่มีอัตรา \( \lambda \) เป็นกระบวนการมาร์คอฟแบบเวลาต่อเนื่องบนปริภูมิสถานะ \( \{0, 1, 2, \dots\} \) ที่นับจำนวนเหตุการณ์ \( N_t \) จนถึงเวลา \( t \) ตัวสร้างของมันจะมี \( \mu_{i, i+1} = \lambda \), \( \mu_{ii} = -\lambda \) และค่าอื่นๆ ทั้งหมดเป็น \( \mu_{ij} = 0 \)

• จำนวนเหตุการณ์: \( P(N_t = k) = \frac{(\lambda t)^k e^{-\lambda t}}{k!} \) สำหรับ \( k = 0, 1, 2, \dots \)
• เวลาระหว่างเหตุการณ์: ตัวแปรสุ่มที่มีการแจกแจงร่วมแบบเอกเทศ \( \text{Exponential}(\lambda) \)

2. แบบจำลองการเจ็บป่วย-การเสียชีวิต และแบบจำลองการสมรส

กระบวนการกระโดดมาร์คอฟเป็นแบบจำลองมาตรฐานสำหรับผลประโยชน์การประกันภัยและเงินบำนาญแบบหลายสถานะ:

• แบบจำลองสุขภาพดี-เจ็บป่วย-เสียชีวิต (Healthy-Sick-Dead Model): สถานะ \( \{H, S, D\} \) มีการเปลี่ยนสถานะจากสุขภาพดีไปเจ็บป่วย (\( \sigma \)), เจ็บป่วยไปสุขภาพดี (\( \rho \)), สุขภาพดีไปเสียชีวิต (\( \mu \)) และเจ็บป่วยไปเสียชีวิต (\( \nu \)) โดยสถานะ \( D \) เป็นสถานะดูดกลืน
• แบบจำลองการสมรส (Marriage Model): สถานะ \( \{ \text{โสด}, \text{สมรส}, \text{ม่าย}, \text{หย่าร้าง}, \text{เสียชีวิต} \} \)

6. แบบจำลองที่ขึ้นกับระยะเวลาคงอยู่ (เซมิ-มาร์คอฟ)

ในกระบวนการมาร์คอฟมาตรฐาน ความเข้มข้นจะขึ้นอยู่กับอายุในปัจจุบันหรือเวลาตามปฏิทิน \( t \) เท่านั้น อย่างไรก็ตาม ในสัญญาประกันสุขภาพหลายประเภท อัตราการฟื้นตัวจะขึ้นอยู่กับระยะเวลาที่บุคคลนั้นป่วยมาแล้วโดยตรง

เมื่อความเข้มข้นของการเปลี่ยนสถานะขึ้นอยู่กับระยะเวลาที่พำนักอยู่ \( z \) ในสถานะปัจจุบัน (นั่นคือ \( \mu_{ij}(t, z) \)) กระบวนการนี้จะเรียกว่า ขึ้นกับระยะเวลาคงอยู่ (duration-dependent) (หรือ กระบวนการเซมิ-มาร์คอฟ (semi-Markov process)) คุณสมบัติมาร์คอฟแบบดั้งเดิมที่พิจารณาเฉพาะสถานะเพียงอย่างเดียวจะไม่เป็นจริงอีกต่อไป เว้นแต่จะติดตามระยะเวลาคงอยู่เป็นส่วนหนึ่งของตัวแปรสถานะที่ขยายเพิ่ม \( (X_t, Z_t) \)

7. สรุปและทบทวนสั้นๆ

1. กระบวนการมาร์คอฟ: กระบวนการเวลาต่อเนื่องที่ไร้ความจำ ซึ่งพฤติกรรมในอนาคตเมื่อทราบปัจจุบันจะไม่ขึ้นอยู่กับอดีต
2. ความเข้มข้น: \( \mu_{ij} \ge 0 \) สำหรับ \( j \ne i \) และ \( \mu_{ii} = -\sum_{j \ne i} \mu_{ij} \) เพื่อให้แต่ละแถวของ \( Q \) รวมกันได้ 0
3. สมการคอลโมโกรอฟไปข้างหน้า: \( \frac{d}{dt} P(t) = P(t) Q \)
4. เวลาการคงอยู่: มีการแจกแจงแบบเอ็กซ์โพเนนเชียลโดยมีค่าเฉลี่ยเป็น \( 1 / (-\mu_{ii}) \)
5. การจำลอง: สลับระหว่างการสุ่มเวลาการคงอยู่จากการแจกแจงแบบเอ็กซ์โพเนนเชียล และการสุ่มสถานะปลายทางจากโซ่การกระโดด