模型 A 在 100 道题上答对了 72 道（72%），模型 B 答对了 68 道（68%）。A 比 B 好吗？
不一定。
偶然性
这 100 道题只是所有可能问题的一个样本。如果换一组 100 道题，A 可能答对 70 道，B 可能答对 71 道——结论就反了。
4 个百分点的差距可能是真实的能力差异，也可能只是采样运气——恰好这 100 道题对 A 更友好。
这跟抛硬币是一回事。一枚公平的硬币抛 100 次，正面出现 52 次——你不能据此说这枚硬币偏向正面。52/100 和 50/100 的差距完全在正常的波动范围内。
标准误差
统计学用标准误差来衡量分数的不确定性。粗略地说，如果正确率是 p%，题目数量是 n，标准误差大约是：
SE ≈ √(p × (1−p) / n)
用数字算一遍：
模型 A：p = 0.72，n = 100
SE = √(0.72 × 0.28 / 100)
= √(0.2016 / 100)
= √0.002016
≈ 0.045
= 4.5%
这意味着 72% 的真实含义是「大约 67%-77%」——有一个 ±4.5% 的不确定范围。
模型 B 的 68% 也有类似的不确定范围：大约 63%-73%。
两个模型的不确定范围大幅重叠：
模型 A 的范围：|===========[ 67% ===== 72% ===== 77% ]=========|
模型 B 的范围：|==[ 63% ===== 68% ===== 73% ]===================|
↑ 重叠区间 ↑
4% 的差距完全落在两个模型的不确定范围之内——这个差距完全可能是统计噪声。
怎么减小不确定性
方法一：增加题目数量。
100 道题：SE ≈ 4.5% → 4% 的差距不可信
400 道题：SE ≈ 2.2% → 4% 的差距开始有意义
1000 道题：SE ≈ 1.4% → 4% 的差距相当可靠
SE 和 √n 成反比——题目数量翻四倍，标准误差减半。
方法二：重复评测。
语言模型有随机性——同一道题每次的回答可能不同（因为采样过程中有随机选择）。一次评测只是一个样本。
对同一组题目让模型回答多次，取平均分数。多次评测的平均值比单次评测更稳定。如果每题采样 16 次取平均，相当于把每题的「有效样本量」放大了——随机波动被平均掉了。
Sophia 的做法
Sophia 的评测在 SophiaBenchmark 的 134 道题上，对每道题采样 16 次取平均，标准误差约 ±1.1 个百分点。
为什么是 ±1.1？因为 134 道题 × 16 次采样，等效的统计精度远高于只评测一次。在这个精度下，2-3 个百分点的差距就能被可靠地检测到。
但光知道「A 比 B 高 3 个百分点，标准误差是 1.1%」还不够——你需要一种严格的方法来判断「这个差距是不是真的」。下一章节来看一种具体的统计检验方法——配对 t 检验。
下一章节来看一种具体的统计检验方法——配对 t 检验——怎么严格地比较两个模型。