欢迎来到调整（Graduation）的世界！

在精算工作中，我们经常处理原始死亡率或转移数据。当我们观察原始（粗略）利率时，由于抽样杂讯、暴露数较少或意外事件的影响，这些数据在不同年龄之间往往会随机上下波动。但在现实世界中，我们预期背后的生物学死亡率会随着年龄增长呈现相对平滑的趋势。

调整（Graduation） 简单来说，就是将这些“凹凸不平”的原始利率进行平滑处理，从而得出一组具规律性、可靠且适用于定价、准备金评估及财务预测的转移强度或概率。

在本章中，我们将探讨为什么要对数据进行调整、课程大纲规定的三种调整方法、如何检验平滑度，以及用于评估对数据拟合度和检测偏差的一系列统计检验。

1. 为什么要进行调整？

如果我们的原始样本显示 50 岁人群的死亡率是 51 岁人群的两倍，而这仅仅是因为在较小的样本中出现了几宗意外身故，那么基于这些粗略利率进行合同定价将会导致保费大幅波动并造成商业扭曲。

我们对粗略估计值进行调整主要有三个原因：

1. 消除随机抽样波动： 原始数据充满了掩盖背后真实形态的“杂讯”。
2. 确保规律性与平滑度： 利率应在各年龄之间符合逻辑地变动（例如：成年人口的死亡率通常随年龄增长而上升），从而确保计算出的保费和准备金规律递增。
3. 估计数据稀疏年龄段的利率： 平滑处理允许我们对观测数据稀疏或缺失的年龄段进行内插估计。

平衡的艺术：拟合度（Fit）与平滑度（Smoothness）

调整数据涉及两个相互竞争的准则之间的根本权衡：

• 对数据的拟合（Goodness of Fit）： 调整后的曲线应紧贴观测到的原始利率，而不扭曲潜在的水平。
• 平滑度（Smoothness）： 相邻年龄之间利率的变化应当平缓，且不存在不规则的转折或剧烈的震荡。

比喻： 用直线段连接图表上的每一个观测点可以达到 100% 的拟合度，但平滑度却是 0%。一条完全水平的直线具备 100% 的平滑度，但拟合度极差。成功的调整是在两者之间取得最佳平衡。

2. 调整的方法

CS2 课程大纲指定了三种主要的调整方法。请注意：根据大纲目标 4.5，考生在考试中无需实际执行调整计算，但必须掌握每种方法的流程、原理以及优缺点。

A. 参数公式调整法（Parametric Formula）

我们在整个年龄区间内，用数学曲线拟合原始转移强度或死亡率，例如 Gompertz 定律（ \( \mu_x = B c^x \) ）、Makeham 定律（ \( \mu_x = A + B c^x \) ）或多项式公式。
• 优点： 产生的利率天生平滑；便于存储及编写程序；易于计算精算函数。
• 缺点： 缺乏弹性；如果人群的真实死亡率形态在特定年龄段偏离了所选公式，拟合效果将会很差。

B. 参照标准表法（Reference to a Standard Table）

我们选取一个已建立且获广泛认可的标准死亡率表，并使用简单的数学关联函数对其进行微调以适应我们的具体经验，例如线性转换（ \( \mathring{q}_x = a + b q_x^s \) ）或 Logit 转换（ \( \text{logit}(\mathring{q}_x) = \alpha + \beta \, \text{logit}(q_x^s) \) ）。
• 优点： 在数据集较小时非常有效，因为仅靠粗略数据无法确定死亡率曲线的形状；可从可靠的人群中“借用”真实的生物学形态。
• 缺点： 受限于所选标准表的形态；如果不存在合适的标准表则不适用。

C. 样条函数法（Spline Functions）

样条函数将年龄区间划分为数个由边界点（称为节点 (Knots)）分隔的子区间，并对每个子区间拟合低阶多项式（通常为三次样条），同时约束曲线及其一阶和二阶导数在节点处保持连续。
• 优点： 高度灵活；能够在局部拟合复杂、非标准的死亡率形态，而不会在其他年龄区间引起不必要的波动。
• 缺点： 节点数量和位置的选择可能具主观性；设置过多节点会导致过度拟合（过度复制随机杂讯）。

3. 平滑度检验

平滑度是调整后利率本身的固有属性，独立于观测数据之外。

• 有限差分（Finite Differences）： 检验平滑度的标准方法是计算调整后利率的逐次差分，尤其是三阶差分（ \( \Delta^3 \mathring{q}_x \) ）。
• 平滑度准则： 三阶差分的数值应较小，随年龄平稳变化，并避免频繁的正负号交替。如果三阶差分序列出现剧烈跳跃，则表示缺乏平滑度。

4. 拟合度与偏差的统计检验

当得出调整后的利率后，我们需要检验调整后的利率（ \( \mathring{q}_x \) 或 \( \mathring{\mu}_x \) ）是否与粗略数据充分吻合、是否存在系统性偏差，以及是否符合真实的潜在趋势。设 \( d_x \) 为观测死亡人数， \( E_x \) 为初始暴险数，而 \( \hat{d}_x = E_x \mathring{q}_x \) 为调整后利率下的预期死亡人数。

在年龄 \( x \) 处的标准化偏差（残差）为：
\( z_x = \frac{d_x - E_x \mathring{q}_x}{\sqrt{E_x \mathring{q}_x (1 - \mathring{q}_x)}} \approx \frac{d_x - \hat{d}_x}{\sqrt{\text{Var}(d_x)}} \)

A. 卡方（ \( \chi^2 \) ）检验（整体拟合检验）

检验所有 \( m \) 个年龄段的整体拟合情况。
• 检验统计量： \( \sum_{x} z_x^2 = \sum_{x} \frac{(d_x - E_x \mathring{q}_x)^2}{E_x \mathring{q}_x (1 - \mathring{q}_x)} \sim \chi_k^2 \)
• 自由度： \( k = m - p \) ，其中 \( m \) 为年龄组数， \( p \) 为调整过程中所估计的参数数量（当直接与标准表比较且未从数据中估计参数时， \( p = 0 \) ）。
• 应用： 若统计量超过 \( \chi_k^2 \) 的上临界值，则拒绝 \( H_0 \) （代表整体拟合欠佳）。

B. 标准化偏差检验（个别离群值检验）

检验个别偏差是否符合标准正态分布特征 \( z_x \sim N(0, 1) \) 。
• 应用： 我们检查是否约有 68% 的 \( z_x \) 落在 \( (-1, 1) \) 内，95% 落在 \( (-2, 2) \) 内，且几乎全部落在 \( (-3, 3) \) 内。若出现单一的 \( |z_x| > 3 \) ，则表明该特定年龄段存在严重拟合不佳的离群情况。

C. 累积偏差检验（整体偏差检验）

检验整个年龄区间是否存在整体偏差（调整后的利率是否系统性地高估或低估了总死亡人数）。
• 检验统计量： \( \frac{\sum (d_x - \hat{d}_x)}{\sqrt{\sum \text{Var}(d_x)}} \sim N(0, 1) \)
• 应用： 双尾正态检验。绝对值较大的正值或负值表明调整存在持续的系统性偏差。

D. 符号检验（方向偏差频率检验）

计算 \( m \) 个年龄段中正偏差的次数 \( P \) 。
• 分布： 在 \( H_0 \) （高估与低估的概率相等）下， \( P \sim \text{Binomial}(m, 0.5) \) （当 \( m \) 较大时可采用正态近似）。
• 应用： 检测某一符号出现的次数是否显著多于随机预期。

E. 符号分组检验（局部偏差游程检验）

检验正号和负号是否聚集形成长游程，这代表调整曲线切入数据且未能捕捉到真实的局部形态。
• 应用： 计算正游程的数量 \( G \) 。将 \( G \) 与 Steven-Dodd 分布临界值或正态近似值进行比较。游程过少表明存在局部偏差（符号聚集）。

F. 序列相关检验（形态一致性／自相关检验）

检验相邻残差之间是否存在自相关，这揭示了调整曲线是否系统性地围绕粗略数据扭曲。
• 检验统计量： 样本一阶自相关系数 \( r_1 = \frac{\sum_{j=1}^{m-1} (z_j - \bar{z})(z_{j+1} - \bar{z})}{\sum_{j=1}^m (z_j - \bar{z})^2} \)
• 分布： 对于较大的 \( m \) ， \( r_1 \sqrt{m} \sim N(0, 1) \) 。
• 应用： 显著为正的 \( r_1 \) 表示存在正序列相关（年龄 \( x+1 \) 的偏差反映了年龄 \( x \) 的偏差）。

5. 针对重复保单调整拟合度检验

在人寿保险及养老金数据集中，单一个人可能持有数张保单。如果某位被保险人身故，将同时引发多宗理赔，这违反了保单死亡之间相互独立的假设。

• 对方差的影响： 虽然预期死亡人数保持不变（ \( E[d_x] = \hat{d}_x \) ），但观测死亡人数的方差会膨胀一个因子 \( r_x > 1 \) ：
\( \text{Var}(d_x) = r_x \cdot E_x \mathring{q}_x (1 - \mathring{q}_x) \)
其中 \( r_x = \frac{\sum k^2 n_k}{\sum k n_k} \) 为每名被保险人的保单数量分布之二阶矩与一阶矩的比率。
• 检验统计量的调整： 如果忽略重复保单，卡方和个别标准化偏差等检验统计量将被不实放大，导致错误拒绝本来合理的调整方案。修正检验时，应将 \( \chi^2 \) 除以 \( r \) ，并将标准化偏差除以 \( \sqrt{r} \) 。

6. 检验总览一览表

1. 三阶差分： 检验调整曲线本身的平滑度。
2. 卡方检验： 检验所有年龄段的整体拟合度（扣除损失的自由度）。
3. 累积偏差： 检验净整体方向性偏差。
4. 符号检验： 检验正负残差比例中的方向性偏差。
5. 符号分组： 检验相同符号的游程，以检测局部形态失真。
6. 序列相关： 检验相邻偏差之间的一阶滞后相关性。
7. 标准化偏差： 检验单一年龄段不可接受的拟合情况（离群值）。