欢迎来到马可夫过程（Markov Processes）的世界！

你好！欢迎来到 CS2 学习之旅中极为核心的一章。在离散时间马可夫链中，系统是按固定步骤演进的（例如汽车保险无赔款折扣 NCD 机制的年度审查）。然而，现实世界往往是连续运行的：被保险人可能在任何时间点生病、康复或离世。

具有无记忆性质的连续时间随机过程称为马可夫过程（Markov process）（特别是当状态空间为离散时，称为马可夫跳跃过程，Markov jump process）。在本章中，我们将定义马可夫过程的核心机制，推导其微分方程，并将其应用于标准精算模型中。

1. 定义与连续时间马可夫性质

设 \( \{X_t : t \ge 0\} \) 为一个在离散状态空间 \( S \) 中取值的连续时间随机过程。若任何未来状态的概率分布仅取决于当前状态，而与过去历史无关，则该过程满足马可夫性质。

形式化地说，对于任意时间 \( 0 \le t_0 < t_1 < \dots < s < s+t \) 以及状态 \( x_0, x_1, \dots, i, j \in S \)：

\( P(X_{s+t} = j \mid X_s = i, X_{t_n} = x_n, \dots, X_{t_0} = x_0) = P(X_{s+t} = j \mid X_s = i) \)

若以滤流（filtration）表示，令 \( \mathcal{F}_s \) 代表截至时间 \( s \) 为止的过程历史：

\( P(X_{s+t} = j \mid \mathcal{F}_s) = P(X_{s+t} = j \mid X_s) \)

我们用 \( p_{ij}(s, s+t) \) 表示在时间 \( s \) 处于状态 \( i \)，并在时间 \( s+t \) 转移至状态 \( j \) 的转移概率。如果此概率仅取决于经历的时长 \( t \)，而与起始时间 \( s \) 无关，则该过程为时间齐次的（time-homogeneous），简记为 \( p_{ij}(t) \)。

2. 转移强度与生成矩阵

在离散时间中，转移是由固定步长的概率所决定。在连续时间中，我们使用转移强度（transition intensities）（亦称为风险率 hazard rates 或转移力 forces of transition）来描述瞬时的移动。

转移强度的定义

对于 \( i \ne j \)，在时间 \( t \) 的转移强度 \( \mu_{ij}(t) \) 定义为：

\( \mu_{ij}(t) = \lim_{h \to 0^+} \frac{p_{ij}(t, t+h)}{h} \)

这意味着在极短的时间间隔 \( h \) 内：

• 当 \( j \ne i \) 时，\( p_{ij}(t, t+h) = \mu_{ij}(t) h + o(h) \)
• \( p_{ii}(t, t+h) = 1 - \sum_{j \ne i} \mu_{ij}(t) h + o(h) = 1 + \mu_{ii}(t) h + o(h) \)

其中 \( o(h) \) 表示当 \( h \to 0 \) 时衰减速度快于 \( h \) 的高阶项。

我们将对角线元素定义为 \( \mu_{ii}(t) = -\sum_{j \ne i} \mu_{ij}(t) \)，因此强度矩阵的每一列总和永远为零。

生成矩阵（\( Q \)）

当过程为时间齐次时，强度为常数：\( \mu_{ij}(t) = \mu_{ij} \)。我们将它们整理成一个生成矩阵（generator matrix） \( Q \)：

\( Q = \begin{pmatrix} \mu_{11} & \mu_{12} & \mu_{13} \\ \mu_{21} & \mu_{22} & \mu_{23} \\ \mu_{31} & \mu_{32} & \mu_{33} \end{pmatrix} \)

\( Q \) 矩阵的重要规则：

• 非对角线元素必须为非负数：对所有 \( i \ne j \)，\( \mu_{ij} \ge 0 \)。
• 对角线元素必须为非正数：\( \mu_{ii} \le 0 \)。
• 每一列（Row）的总和必须为零：\( \sum_{j} \mu_{ij} = 0 \)。

3. 科尔莫哥洛夫微分方程（Kolmogorov Differential Equations）

作为查普曼-科尔莫哥洛夫方程在连续时间下的对应形式，微分方程将转移概率与转移强度联系起来。

时间齐次情况

对于时间齐次的马可夫跳跃过程，我们有两组等价的方程：

1. 科尔莫哥洛夫向前方程（Kolmogorov Forward Equations）：
\( \frac{d}{dt} p_{ij}(t) = \sum_{k} p_{ik}(t) \mu_{kj} = \sum_{k \ne j} p_{ik}(t) \mu_{kj} + p_{ij}(t) \mu_{jj} \)
以矩阵形式表示：\( \frac{d}{dt} P(t) = P(t) Q \)，初始条件为 \( P(0) = I \)。

2. 科尔莫哥洛夫向后方程（Kolmogorov Backward Equations）：
\( \frac{d}{dt} p_{ij}(t) = \sum_{k} \mu_{ik} p_{kj}(t) = \sum_{k \ne i} \mu_{ik} p_{kj}(t) + \mu_{ii} p_{ij}(t) \)
以矩阵形式表示：\( \frac{d}{dt} P(t) = Q P(t) \)。

非时间齐次情况

当强度随时间或年龄 \( t \) 变化时：

向前方程： \( \frac{\partial}{\partial t} p_{ij}(s, t) = \sum_{k} p_{ik}(s, t) \mu_{kj}(t) \)

向后方程： \( \frac{\partial}{\partial s} p_{ij}(s, t) = -\sum_{k} \mu_{ik}(s) p_{kj}(s, t) \)

在简单情况下求解科尔莫哥洛夫方程

考虑一个简单的双状态死亡率模型：状态 0（存活）与状态 1（死亡），常数转移强度为 \( \mu_{01} = \mu \)，且状态 1 为吸收状态（\( \mu_{10} = 0 \)）。

维持在状态 0 的向前方程为：
\( \frac{d}{dt} p_{00}(t) = p_{00}(t) \mu_{00} = -\mu p_{00}(t) \)

透过分离变量法并利用初始条件 \( p_{00}(0) = 1 \)：
\( p_{00}(t) = e^{-\mu t} \)

由于概率总和必须为 1：
\( p_{01}(t) = 1 - p_{00}(t) = 1 - e^{-\mu t} \)

4. 逗留时间、跳跃链与模拟

马可夫跳跃过程在状态 \( i \) 停留一段随机时间后，才会转移至另一个状态。

逗留时间的分布

在跳跃到任何其他状态之前，在状态 \( i \) 停留的时间 \( T_i \) 称为逗留时间（holding time）（或等待时间 waiting time）。由于马可夫性质具有无记忆性，\( T_i \) 服从指数分布（exponential distribution）：

\( T_i \sim \text{Exponential}(\lambda_i) \)，其中 \( \lambda_i = -\mu_{ii} = \sum_{j \ne i} \mu_{ij} \)

在状态 \( i \) 的期望逗留时间为 \( E[T_i] = \frac{1}{\lambda_i} = \frac{1}{-\mu_{ii}} \)。

跳跃链（Jump Chain）

当过程离开状态 \( i \) 时，特定跳跃至状态 \( j \)（\( j \ne i \)）的概率由内嵌跳跃链概率给出：

\( q_{ij} = \frac{\mu_{ij}}{\sum_{k \ne i} \mu_{ik}} = \frac{\mu_{ij}}{-\mu_{ii}} \)

模拟马可夫跳跃过程

我们可以逐步模拟马可夫跳跃过程的样本路径：

• 步骤 1：在时间 \( t = 0 \) 时从初始状态 \( X_0 = i \) 开始。
• 步骤 2：利用均匀伪随机数 \( U_1 \sim U(0, 1) \) 生成逗留时间 \( T \sim \text{Exponential}(-\mu_{ii}) \)：\( T = -\frac{\ln(U_1)}{-\mu_{ii}} \)。
• 步骤 3：将当前时间更新为 \( t + T \)。若超过最大模拟时间范围，则停止。
• 步骤 4：利用第二个独立的均匀随机变量 \( U_2 \)，根据离散跳跃概率 \( q_{ij} \) 选择下一个状态 \( j \ne i \)。
• 步骤 5：设定 \( i = j \) 并返回步骤 2。

5. 精算应用

1. 泊松过程（Poisson Process）

速率为 \( \lambda \) 的齐次泊松过程是一个定义在状态空间 \( \{0, 1, 2, \dots\} \) 上的连续时间马可夫过程，用以计算截至时间 \( t \) 的事件发生次数 \( N_t \)。其生成矩阵具有 \( \mu_{i, i+1} = \lambda \)、\( \mu_{ii} = -\lambda \)，其余 \( \mu_{ij} = 0 \)。

• 事件次数：对于 \( k = 0, 1, 2, \dots \)，\( P(N_t = k) = \frac{(\lambda t)^k e^{-\lambda t}}{k!} \)
• 事件间隔时间：独立同分布的 \( \text{Exponential}(\lambda) \) 随机变量。

2. 患病-死亡模型与婚姻模型

马可夫跳跃过程是多状态保险与养老金福利的标准模型：

• 健康-患病-死亡模型：状态为 \( \{H, S, D\} \)。转移路径包括健康到患病（\( \sigma \)）、患病到健康（\( \rho \)）、健康到死亡（\( \mu \)）以及患病到死亡（\( \nu \)）。状态 \( D \) 为吸收状态。
• 婚姻模型：状态为 \( \{ \text{单身}, \text{已婚}, \text{丧偶}, \text{离婚}, \text{死亡} \} \)。

6. 历时相依（半马可夫）模型

在标准马可夫过程中，强度仅取决于当前年龄或日历时间 \( t \)。然而，在许多健康保险合同中，康复率直接取决于被保险人已经患病了多久。

当转移强度取决于在当前状态的逗留时长 \( z \) 时（即 \( \mu_{ij}(t, z) \)），该过程即为历时相依的（duration-dependent）（即半马可夫过程，semi-Markov process）。仅针对单一状态的经典马可夫性质将不再成立，除非将逗留时间作为扩展状态变量 \( (X_t, Z_t) \) 的一部分来进行追踪。

7. 总结与复习清单

1. 马可夫过程：无记忆性的连续时间过程，在给定现在的情况下，未来的行为与过去无关。
2. 强度：当 \( j \ne i \) 时 \( \mu_{ij} \ge 0 \)，且 \( \mu_{ii} = -\sum_{j \ne i} \mu_{ij} \)，因此 \( Q \) 的每一列总和为 0。
3. 科尔莫哥洛夫向前方程：\( \frac{d}{dt} P(t) = P(t) Q \)。
4. 逗留时间：服从指数分布，平均值为 \( 1 / (-\mu_{ii}) \)。
5. 模拟：交替进行从指数分布抽取逗留时间，以及从跳跃链抽取目标状态。