歡迎來到馬可夫過程（Markov Processes）的世界！

你好！歡迎來到 CS2 學習之旅中極為核心的一章。在離散時間馬可夫鏈中，系統是按固定步驟演進的（例如汽車保險無賠款折扣 NCD 機制的年度審查）。然而，現實世界往往是連續運行的：受保人可能在任何時間點生病、康復或離世。

具有無記憶性質的連續時間隨機過程稱為馬可夫過程（Markov process）（特別是當狀態空間為離散時，稱為馬可夫跳躍過程，Markov jump process）。在本章中，我們將定義馬可夫過程的核心機制，推導其微分方程，並將其應用於標準精算模型中。

1. 定義與連續時間馬可夫性質

設 \( \{X_t : t \ge 0\} \) 為一個在離散狀態空間 \( S \) 中取值的連續時間隨機過程。若任何未來狀態的機率分佈僅取決於當前狀態，而與過去歷史無關，則該過程滿足馬可夫性質。

形式化地說，對於任意時間 \( 0 \le t_0 < t_1 < \dots < s < s+t \) 以及狀態 \( x_0, x_1, \dots, i, j \in S \)：

\( P(X_{s+t} = j \mid X_s = i, X_{t_n} = x_n, \dots, X_{t_0} = x_0) = P(X_{s+t} = j \mid X_s = i) \)

若以濾流（filtration）表示，令 \( \mathcal{F}_s \) 代表截至時間 \( s \) 為止的過程歷史：

\( P(X_{s+t} = j \mid \mathcal{F}_s) = P(X_{s+t} = j \mid X_s) \)

我們用 \( p_{ij}(s, s+t) \) 表示在時間 \( s \) 處於狀態 \( i \)，並在時間 \( s+t \) 轉移至狀態 \( j \) 的轉移機率。如果此機率僅取決於經歷的時長 \( t \)，而與起始時間 \( s \) 無關，則該過程為時間齊次的（time-homogeneous），簡記為 \( p_{ij}(t) \)。

2. 轉移強度與生成矩陣

在離散時間中，轉移是由固定步長的機率所決定。在連續時間中，我們使用轉移強度（transition intensities）（亦稱為風險率 hazard rates 或轉移力 forces of transition）來描述瞬時的移動。

轉移強度的定義

對於 \( i \ne j \)，在時間 \( t \) 的轉移強度 \( \mu_{ij}(t) \) 定義為：

\( \mu_{ij}(t) = \lim_{h \to 0^+} \frac{p_{ij}(t, t+h)}{h} \)

這意味著在極短的時間間隔 \( h \) 內：

• 當 \( j \ne i \) 時，\( p_{ij}(t, t+h) = \mu_{ij}(t) h + o(h) \)
• \( p_{ii}(t, t+h) = 1 - \sum_{j \ne i} \mu_{ij}(t) h + o(h) = 1 + \mu_{ii}(t) h + o(h) \)

其中 \( o(h) \) 表示當 \( h \to 0 \) 時衰減速度快於 \( h \) 的高階項。

我們將對角線元素定義為 \( \mu_{ii}(t) = -\sum_{j \ne i} \mu_{ij}(t) \)，因此強度矩陣的每一列總和永遠為零。

生成矩陣（\( Q \)）

當過程為時間齊次時，強度為常數：\( \mu_{ij}(t) = \mu_{ij} \)。我們將它們整理成一個生成矩陣（generator matrix） \( Q \)：

\( Q = \begin{pmatrix} \mu_{11} & \mu_{12} & \mu_{13} \\ \mu_{21} & \mu_{22} & \mu_{23} \\ \mu_{31} & \mu_{32} & \mu_{33} \end{pmatrix} \)

\( Q \) 矩陣的重要規則：

• 非對角線元素必須為非負數：對所有 \( i \ne j \)，\( \mu_{ij} \ge 0 \)。
• 對角線元素必須為非正數：\( \mu_{ii} \le 0 \)。
• 每一列（Row）的總和必須為零：\( \sum_{j} \mu_{ij} = 0 \)。

3. 科爾莫哥洛夫微分方程（Kolmogorov Differential Equations）

作為查普曼-科爾莫哥洛夫方程在連續時間下的對應形式，微分方程將轉移機率與轉移強度聯繫起來。

時間齊次情況

對於時間齊次的馬可夫跳躍過程，我們有兩組等價的方程：

1. 科爾莫哥洛夫向前方程（Kolmogorov Forward Equations）：
\( \frac{d}{dt} p_{ij}(t) = \sum_{k} p_{ik}(t) \mu_{kj} = \sum_{k \ne j} p_{ik}(t) \mu_{kj} + p_{ij}(t) \mu_{jj} \)
以矩陣形式表示：\( \frac{d}{dt} P(t) = P(t) Q \)，初始條件為 \( P(0) = I \)。

2. 科爾莫哥洛夫向後方程（Kolmogorov Backward Equations）：
\( \frac{d}{dt} p_{ij}(t) = \sum_{k} \mu_{ik} p_{kj}(t) = \sum_{k \ne i} \mu_{ik} p_{kj}(t) + \mu_{ii} p_{ij}(t) \)
以矩陣形式表示：\( \frac{d}{dt} P(t) = Q P(t) \)。

非時間齊次情況

當強度隨時間或年齡 \( t \) 變化時：

向前方程： \( \frac{\partial}{\partial t} p_{ij}(s, t) = \sum_{k} p_{ik}(s, t) \mu_{kj}(t) \)

向後方程： \( \frac{\partial}{\partial s} p_{ij}(s, t) = -\sum_{k} \mu_{ik}(s) p_{kj}(s, t) \)

在簡單情況下求解科爾莫哥洛夫方程

考慮一個簡單的雙狀態死亡率模型：狀態 0（存活）與狀態 1（死亡），常數轉移強度為 \( \mu_{01} = \mu \)，且狀態 1 為吸收狀態（\( \mu_{10} = 0 \)）。

維持在狀態 0 的向前方程為：
\( \frac{d}{dt} p_{00}(t) = p_{00}(t) \mu_{00} = -\mu p_{00}(t) \)

透過分離變數法並利用初始條件 \( p_{00}(0) = 1 \)：
\( p_{00}(t) = e^{-\mu t} \)

由於機率總和必須為 1：
\( p_{01}(t) = 1 - p_{00}(t) = 1 - e^{-\mu t} \)

4. 逗留時間、跳躍鏈與模擬

馬可夫跳躍過程在狀態 \( i \) 停留一段隨機時間後，才會轉移至另一個狀態。

逗留時間的分佈

在跳躍到任何其他狀態之前，在狀態 \( i \) 停留的時間 \( T_i \) 稱為逗留時間（holding time）（或等待時間 waiting time）。由於馬可夫性質具有無記憶性，\( T_i \) 服從指數分佈（exponential distribution）：

\( T_i \sim \text{Exponential}(\lambda_i) \)，其中 \( \lambda_i = -\mu_{ii} = \sum_{j \ne i} \mu_{ij} \)

在狀態 \( i \) 的期望逗留時間為 \( E[T_i] = \frac{1}{\lambda_i} = \frac{1}{-\mu_{ii}} \)。

跳躍鏈（Jump Chain）

當過程離開狀態 \( i \) 時，特定跳躍至狀態 \( j \)（\( j \ne i \)）的機率由內嵌跳躍鏈機率給出：

\( q_{ij} = \frac{\mu_{ij}}{\sum_{k \ne i} \mu_{ik}} = \frac{\mu_{ij}}{-\mu_{ii}} \)

模擬馬可夫跳躍過程

我們可以逐步模擬馬可夫跳躍過程的樣本路徑：

• 步驟 1：在時間 \( t = 0 \) 時從初始狀態 \( X_0 = i \) 開始。
• 步驟 2：利用均勻偽隨機數 \( U_1 \sim U(0, 1) \) 生成逗留時間 \( T \sim \text{Exponential}(-\mu_{ii}) \)：\( T = -\frac{\ln(U_1)}{-\mu_{ii}} \)。
• 步驟 3：將當前時間更新為 \( t + T \)。若超過最大模擬時間範圍，則停止。
• 步驟 4：利用第二個獨立的均勻隨機變數 \( U_2 \)，根據離散跳躍機率 \( q_{ij} \) 選擇下一個狀態 \( j \ne i \)。
• 步驟 5：設定 \( i = j \) 並返回步驟 2。

5. 精算應用

1. 泊松過程（Poisson Process）

速率為 \( \lambda \) 的齊次泊松過程是一個定義在狀態空間 \( \{0, 1, 2, \dots\} \) 上的連續時間馬可夫過程，用以計算截至時間 \( t \) 的事件發生次數 \( N_t \)。其生成矩陣具有 \( \mu_{i, i+1} = \lambda \)、\( \mu_{ii} = -\lambda \)，其餘 \( \mu_{ij} = 0 \)。

• 事件次數：對於 \( k = 0, 1, 2, \dots \)，\( P(N_t = k) = \frac{(\lambda t)^k e^{-\lambda t}}{k!} \)
• 事件間隔時間：獨立同分佈的 \( \text{Exponential}(\lambda) \) 隨機變數。

2. 患病-死亡模型與婚姻模型

馬可夫跳躍過程是多狀態保險與退休金福利的標準模型：

• 健康-患病-死亡模型：狀態為 \( \{H, S, D\} \)。轉移路徑包括健康到患病（\( \sigma \)）、患病到健康（\( \rho \)）、健康到死亡（\( \mu \)）以及患病到死亡（\( \nu \)）。狀態 \( D \) 為吸收狀態。
• 婚姻模型：狀態為 \( \{ \text{單身}, \text{已婚}, \text{喪偶}, \text{離婚}, \text{死亡} \} \)。

6. 歷時相依（半馬可夫）模型

在標準馬可夫過程中，強度僅取決於當前年齡或日曆時間 \( t \)。然而，在許多健康保險合約中，康復率直接取決於受保人已經患病了多久。

當轉移強度取決於在當前狀態的逗留時長 \( z \) 時（即 \( \mu_{ij}(t, z) \)），該過程即為歷時相依的（duration-dependent）（即半馬可夫過程，semi-Markov process）。僅針對單一狀態的經典馬可夫性質將不再成立，除非將逗留時間作為擴展狀態變數 \( (X_t, Z_t) \) 的一部分來進行追蹤。

7. 總結與檢視清單

1. 馬可夫過程：無記憶性的連續時間過程，在給定現在的情況下，未來的行為與過去無關。
2. 強度：當 \( j \ne i \) 時 \( \mu_{ij} \ge 0 \)，且 \( \mu_{ii} = -\sum_{j \ne i} \mu_{ij} \)，因此 \( Q \) 的每一列總和為 0。
3. 科爾莫哥洛夫向前方程：\( \frac{d}{dt} P(t) = P(t) Q \)。
4. 逗留時間：服從指數分佈，平均值為 \( 1 / (-\mu_{ii}) \)。
5. 模擬：交替進行從指數分佈抽取逗留時間，以及從跳躍鏈抽取目標狀態。