欢迎来到假设检验(Hypothesis Testing)的世界!

在 FRM 的课程中,假设检验就像是数据世界里的侦探工作。到目前为止,你已经学会了如何计算样本平均值和方差。现在,我们要学习如何评估观察到的模式究竟代表真实的统计关系,抑或仅仅是随机抽样变异下的产物。

无论你是要检验某个主动投资策略是否能创造超额收益(Alpha),还是验证风险价值(VaR)模型是否经过适当校准,假设检验都是你最核心的量化分析框架。

1. 起跑线:零假设与备择假设

每一个假设检验都始于两个互斥且穷尽的陈述:

零假设(Null Hypothesis,\(H_0\)): 这是默认的主张或“现状”。它通常假设没有影响、没有差异,或者参数等于某个特定基准值(\(\theta = \theta_0\))。在统计检验中,除非样本证据超越合理门槛并与之矛盾,否则我们一律认定 \(H_0\) 为真。

备择假设(Alternative Hypothesis,\(H_a\) 或 \(H_1\)): 这就是你想要证实的研究陈述。只有当实证数据足够强大时,我们才会拒绝 \(H_0\) 而转向支持 \(H_a\)。

单尾检验 vs. 双尾检验

检验的架构直接取决于你的研究问题:

双尾检验(Two-Sided / Two-Tailed Test): 用于检验参数是否朝任一方向偏离假设值。
例子: 投资组合的预期收益率 \(\mu\) 是否与 5% 不同?(\(H_0: \mu = 5\%\) vs. \(H_a: \mu \neq 5\%\))

单尾检验(One-Sided / One-Tailed Test): 用于检验特定方向的偏离(大于或小于)。
例子: 投资组合的预期收益率是否大于 5%?(\(H_0: \mu \leq 5\%\) vs. \(H_a: \mu > 5\%\))

关键惯例:

零假设(\(H_0\))永远包含等于符号(\(=\)、\(\leq\) 或 \(\geq\))。而备择假设(\(H_a\))则代表严格的不等式(\(\neq\)、\(>\) 或 \(<\))。

2. 第一类与第二类错误、检验水平及检验功效

由于统计决策依赖的是样本估计值而非总体普查,因此可能会发生两种潜在错误:

第一类错误(Type I Error): 当零假设实际上为真时,我们却拒绝了它(假阳性/假警报)。
犯下第一类错误的概率称为显著性水平(Significance Level, \(\alpha\)),亦称为检验大小(Size of the Test):\(P(\text{Reject } H_0 \mid H_0 \text{ is true}) = \alpha\)。

第二类错误(Type II Error): 当零假设实际上为假时,我们却未能拒绝它(假阴性/错失良机)。
犯下第二类错误的概率以 \(\beta\) 表示:\(P(\text{Fail to reject } H_0 \mid H_0 \text{ is false}) = \beta\)。

检验的功效(Power of the Test)

检验的功效是指正确拒绝错误零假设的概率:\(\text{Power} = 1 - \beta\)。检验功效会随着样本数(\(n\))变大、真实效应量增加(真实参数与假设值之间的差距扩大),以及选取的显著性水平(\(\alpha\))提高而上升。

3. 决策框架:检验统计量、P 值与置信区间

标准化的检验统计量(Test Statistic)衡量了样本估计值与 \(H_0\) 下的假设值之间的距离,并以标准误(\(SE\))进行标准化缩放:

\(\text{Test Statistic} = \frac{\text{Sample Statistic} - \text{Hypothesized Value}}{SE(\text{Sample Statistic})}\)

临界值法(Critical Value Approach)

在选定的显著性水平 \(\alpha\) 下,将计算出的检验统计量与参考分布的临界值进行比较:
- 双尾检验:若 \(\vert \text{Test Statistic} \vert > \vert \text{Critical Value}_{\alpha/2} \vert\),则拒绝 \(H_0\)。
- 单尾检验:若检验统计量严格落在由 \(\alpha\) 所界定的拒绝尾部内,则拒绝 \(H_0\)。

P 值法(P-Value Approach)

P 值(p-value)是能够拒绝 \(H_0\) 的最小显著性水平。换句话说,就是在假设 \(H_0\) 为真的情况下,观察到至少与计算出的样本值一样极端的检验统计量之概率。
- 若 \(\text{p-value} < \alpha\),则拒绝 \(H_0\)(具统计显著性)。
- 若 \(\text{p-value} \geq \alpha\),则无法拒绝 \(H_0\)。

与置信区间的对偶性(Duality with Confidence Intervals)

双尾假设检验与置信水平为 \(1 - \alpha\) 的置信区间(Confidence Interval, CI)之间存在完全对应的关系:
\(CI = \text{Sample Estimate} \pm (\text{Critical Value} \times SE)\)
假设值 \(\mu_0\) 在显著性水平 \(\alpha\) 下被拒绝,当且仅当 \(\mu_0\) 严格落在 \((1 - \alpha)\) 置信区间之外。若 \(\mu_0\) 落在该区间内,我们在显著性水平 \(\alpha\) 下便无法拒绝 \(H_0\)。

4. 单一总体的假设检验

检验总体均值(\(\mu\)):
- Z 检验(Z-test): 当总体方差 \(\sigma^2\) 已知时使用:\(Z = \frac{\bar{x} - \mu_0}{\sigma / \sqrt{n}}\)。
- t 检验(t-test): 当总体方差未知并以样本方差 \(s^2\) 代替估计时使用,自由度为 \(n - 1\):\(t = \frac{\bar{x} - \mu_0}{s / \sqrt{n}}\)。

检验单一总体方差(\(\sigma^2\)):
- 卡方检验(Chi-Square, \(\chi^2\) Test): 对于正态分布总体,检验 \(H_0: \sigma^2 = \sigma_0^2\) 所采用的检验统计量为 \(\chi^2 = \frac{(n - 1)s^2}{\sigma_0^2}\),自由度为 \(n - 1\)。

比较两个总体方差:
- F 检验(F-test): 使用独立样本检验 \(H_0: \sigma_1^2 = \sigma_2^2\):\(F = \frac{s_1^2}{s_2^2}\),分子自由度为 \(n_1 - 1\),分母自由度为 \(n_2 - 1\)。

5. 检验两个总体均值之差异

金融风险管理经常需要比较两个投资组合、资产或不同时间体系之间的收益率或风险测度。适当的检验方法取决于两个样本为独立样本还是配对样本:

A. 独立样本

当跨越两个不同总体检验 \(H_0: \mu_1 - \mu_2 = d_0\)(通常 \(d_0 = 0\))时:
\(t = \frac{(\bar{x}_1 - \bar{x}_2) - d_0}{SE(\bar{x}_1 - \bar{x}_2)}\)
- 假设方差相等(联合作员方差/Pooled Variance): 当 \(\sigma_1^2 = \sigma_2^2\) 时,计算联合方差 \(s_p^2 = \frac{(n_1 - 1)s_1^2 + (n_2 - 1)s_2^2}{n_1 + n_2 - 2}\),标准误为 \(SE = s_p \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}\),自由度为 \(n_1 + n_2 - 2\)。
- 方差不相等(非联合/Unpooled): 当不能假设方差相等时,\(SE = \sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}\),其自由度则通过 Welch 公式进行调整。

B. 配对(相关)样本

当两个样本的观察值自然成对时(例如同一基金在政策转变前后的表现),计算成对差额值 \(d_i = x_{1,i} - x_{2,i}\)。假设 \(H_0: \mu_d = d_0\) 可简化为对平均差额值 \(\bar{d}\) 进行单样本 t 检验:
\(t = \frac{\bar{d} - d_0}{s_d / \sqrt{n}}\)
其中 \(s_d\) 为成对差额值的样本标准差,自由度为 \(n - 1\)。

6. 多重检验问题(The Multiple-Testing Problem)

在量化建模与回测中,分析师经常同时检验数十个甚至数百个候选变量、交易策略或风险因子。这会产生多重检验问题(亦称为数据窥探/Data Snooping 或 P 值操纵/p-hacking)。

如果你进行 \(m\) 次各自在显著性水平 \(\alpha\) 下的独立检验,整个检验族群中出现至少一次第一类错误的概率——称为全族错误率(Family-Wise Error Rate, FWER)——为:
\(FWER = 1 - (1 - \alpha)^m\)
例子: 如果你在 \(\alpha = 0.05\) 下检验 20 个独立策略,发现至少一个假阳性(假警报)的概率为 \(1 - (1 - 0.05)^{20} \approx 64.15\%\)。

多重检验的补救方法

庞弗洛尼校正(Bonferroni Correction): 为了维持整体全族错误率为 \(\alpha\),每个单独检验均在调整后的显著性水平下进行:
\(\alpha^* = \frac{\alpha}{m}\)
等价地,可将个别 P 值乘以 \(m\)。庞弗洛尼校正虽然简单且保守,但当 \(m\) 很大时会显著降低检验功效。

错误发现率(False Discovery Rate, FDR): 现代替代方法着重于控制所有被拒绝的假设中错误拒绝的预期比例,而不是完全杜绝任何单一的第一类错误。

7. 假设检验的逐步指南

步骤 1: 建立零假设(\(H_0\))与备择假设(\(H_a\))。
步骤 2: 选定显著性水平(\(\alpha\)),例如 0.05 或 0.01。
步骤 3: 选取合适的检验统计量(Z、t、卡方或 F),并指明其在 \(H_0\) 下的分布。
步骤 4: 计算样本检验统计量及对应的 P 值或临界值。
步骤 5: 应用决策规则:若检验统计量超越临界值(或 \(\text{p-value} < \alpha\)),则拒绝 \(H_0\);否则,无法拒绝 \(H_0\)。

8. 常见避坑指南

1. “接受”零假设: 我们从不说“接受 \(H_0\)”。我们只能“无法拒绝 \(H_0\)”。无法拒绝仅仅表示样本证据不足以推翻零假设,并不代表零假设已被证明为真。

2. 混淆各尾部的 Alpha 配置: 在 \(\alpha = 5\%\) 下进行双尾检验时,临界区域会将 \(2.5\%\)(\(\alpha/2\))分配到每一侧尾部。而单尾检验中,全部 \(5\%\) 集中在单一尾部,因而会产生较小的临界值门槛。

3. 混淆统计显著性与经济显著性: 当样本数 \(n\) 极大时,微不足道的效应量也能产生具统计显著性的 P 值,然而交易成本或市场摩擦力可能会使该效应在经济意义上变得微不足道。