教师蒸馏——让大模型替你写训练数据

SFT 需要大量高质量的示范对话。谁来写这些对话？

人工标注的问题

最传统的方法是雇人来写——给标注员一个用户的问题，让他们写出理想的回答。

但人工标注有几个大问题：

• 成本高——写几万条高质量回答需要大量的标注时间和人力。
• 一致性差——不同标注员的写作风格、知识水平、判断标准都不同。
• 规模有限——以人力可承受的规模，很难覆盖所有场景。

教师蒸馏

教师蒸馏（teacher distillation）用了一个巧妙的方法：用一个更强大的模型（教师）来生成训练数据。

「教师」通常是一个商业级的大模型——比如 Claude、GPT-4、Gemini。这些模型有几千亿参数，在对话质量上远超 Sophia 这样的十亿参数模型。

流程是：

1. 设计一批用户问题（可以是人工设计的，也可以是从真实用户问题中采样的）
2. 把这些问题发给教师模型，让教师写出高质量的回答
3. 把「问题 + 教师回答」组成训练数据
4. 用这些数据对 Sophia 做 SFT

Sophia 的 SFT 使用了 Claude Haiku 4.5 作为教师模型。技术报告提到选择 Haiku 的原因是它「干净、克制的文风」——回答不会过于冗长或花哨，风格适合作为训练目标。

这算不算抄袭

教师蒸馏在学术界有争议。你本质上是在用一个商业模型的输出来训练自己的模型——站在巨人的肩膀上。

不同模型提供商对此有不同的政策。有些明确允许用输出来训练其他模型，有些限制这种使用。Sophia 的技术报告公开记录了使用 Claude Haiku 作为教师的事实。

从技术角度看，蒸馏出来的学生模型不可能超越教师——它最多学到教师在这些特定问题上的回答质量，而且由于模型容量小得多，通常还会有所损失。

下一章节来看 SFT 数据的设计细节——不仅仅是问答，还有行为脚本和身份控制。