上一章节说到，两个模型的分数差异可能是噪声。配对 t 检验是一种严格判断「差异是否真实」的统计方法。
为什么要「配对」
普通 t 检验比较两组独立的数据。但比较两个模型时，两组数据不是独立的——它们回答的是同样的题目。
有些题目本身很难，两个模型都可能答错。有些题目很简单，都会答对。如果不利用「同一道题」这个关联，会浪费很多信息。
配对 t 检验利用了这个关联：它不看两个模型各自的分数，而是看每道题上两个模型的差异。
计算步骤
假设有 134 道题，对每道题计算：
dᵢ = 模型 A 在第 i 题的得分 − 模型 B 在第 i 题的得分
如果 A 答对了 B 没答对，d = 1 − 0 = 1。 如果都答对，d = 1 − 1 = 0。 如果 B 答对了 A 没答对，d = 0 − 1 = −1。
然后计算所有 d 值的平均值（d̄）和标准差（s），以及 t 统计量：
t = d̄ / (s / √n)
n 是题目数量。如果 t 的绝对值大于一个阈值（取决于你选择的显著性水平，通常 1.96 对应 95% 置信度），就可以说差异是统计显著的——不太可能是偶然造成的。
p 值
t 统计量可以转换成 p 值——在「两个模型实际上一样好」的假设下，观察到这么大（或更大）的差异的概率。
p < 0.05：差异在 95% 的置信水平下是显著的。通常被接受为「有真实差异」。 p < 0.01：差异更加确定。 p > 0.05：差异不显著——不能排除偶然性的解释。
Sophia 的评测实践
Sophia 的技术报告在比较不同训练阶段的模型（比如 SFT 后 vs DPO 后）时使用了配对 t 检验。每道题采样 16 次取平均，然后在 134 道题上做配对 t 检验。
这让报告中的结论——比如「DPO 带来了显著改善」或「RFT 没有显著效果」——不是基于主观印象，而是基于严格的统计检验。
下一章节来看 SophiaBenchmark 本身是怎么设计的。