训练完成之后，怎么知道模型好不好？
「好」是一个模糊的词——不同的任务需要不同的评测方式。
选择题似然评测
最简单的评测方式：给模型一道选择题，看它认为哪个选项最可能。
问题：地球绕太阳公转一周大约需要多长时间？
A. 一天
B. 一个月
C. 一年
D. 一百年
模型不需要「回答」这个问题——评测程序直接计算模型给四个选项各自的概率（通过计算每个选项文本的条件概率），选概率最高的那个作为模型的答案。
这种方式的优点是完全自动化——不需要人工判断回答的质量。答对了就是对的，答错了就是错的。
常见的选择题评测集：MMLU（大学水平的多学科知识）、C-Eval（中文综合能力）、ARC（科学推理）。
生成式评测
有些任务不能用选择题来评测——比如写一篇摘要、翻译一段话、写一段代码。这些任务需要模型实际生成文本，然后评估生成的质量。
评估方法有几种：
- 精确匹配：生成的答案跟标准答案完全一致就算对。适用于有唯一正确答案的任务（数学题、事实性问答）。
- 自动指标：用 BLEU（翻译质量）、ROUGE（摘要质量）等指标计算生成文本和参考文本的相似度。
- 人工评估：让人来判断生成的质量。最可靠但最昂贵。
奖励模型评测
用另一个模型（奖励模型或裁判模型）来评估生成的质量。比如用 GPT-4 作为裁判，给模型的回答打分。
裁判指令：请评估以下回答的质量（1-10 分），考虑准确性、完整性和表达清晰度。
这种方式介于自动评测和人工评测之间——比纯自动指标更灵活（能评价开放式回答），比人工评估更便宜更快。
但奖励模型评测有一个根本的问题：裁判模型自己也有偏见。 它可能偏好冗长的回答、偏好特定的表达风格、或者在特定领域不够准确。裁判的分数不等于真实的质量。
下一章节来看一个经常被忽视但至关重要的问题：怎么确定评测结果的差异是真实的还是统计噪声。