Sophia 的后训练尝试了 SFT、DPO、RFT、GRPO，还做了额外的 DPO 轮次（DPO-2）。最终结论是：过多的后训练不仅没有帮助，反而有害。
剂量过冲
DPO 的第一轮（500 步，β=0.1）带来了明显的改善——模型的回答更简洁、更符合人类偏好。
但当尝试做第二轮 DPO 时，评测分数反而下降了。这就是剂量过冲——后训练的效果像药物一样有最佳剂量，超过之后开始产生副作用。
副作用的具体表现是：模型开始过度优化偏好信号——学会了「看起来好」但实际上更差的回答策略。比如，如果偏好数据倾向于简洁的回答，过度优化后模型可能变得过于简短——连必要的信息都省略了。
收益递减
即使没有过冲，后训练的每一轮收益也在递减。第一轮 SFT 从续写器变成了对话者——这是质的飞跃。第一轮 DPO 让偏好对齐——效果显著。但之后的每一轮改善越来越微小。
原因是：后训练不创造新能力，只是重新分配已有的能力。 预训练教会了模型语言知识和推理能力，后训练只是调整模型「选择怎么表达」。一旦表达方式被调整到合理的范围，继续调整的空间就很小了。
预训练是地基
这些实验共同指向一个结论：模型的能力上限由预训练决定，后训练只能在这个上限之内做调整。
想提高 Sophia 的能力天花板，不是做更多轮的 SFT 或 DPO，而是：
- 用更多的预训练数据
- 用更大的模型
- 用更好的架构
后训练是在已有能力的基础上做精细调整——重要，但有极限。
这个单元学了什么
五个章节覆盖了偏好优化的全景：
- 为什么 SFT 不够（第 52 章节）：只看正例不能区分好和更好。
- DPO（第 53 章节）：从成对偏好中直接学习，简单有效。
- RFT（第 54 章节）：用模型自身最佳输出自蒸馏——在小模型上效果不佳。
- GRPO（第 55 章节）：在线强化学习——在小模型上同样效果有限。
- 天花板（本章节）：后训练有最佳剂量，过度后训练有害。
模型训练完了——预训练 + SFT + DPO。但怎么知道它到底好不好？怎么跟其他模型比较？最后一个单元来看评测。