你有 200 亿个 token 的预算。中文占多少？英文占多少？代码占多少？这个决定直接影响模型的能力分布。
配比决定能力
如果 90% 都是中文，模型的中文能力会很强，但英文和代码能力会很弱。如果中英各半，两方面能力比较均衡，但单项可能都不如专注一方的模型。
Sophia 的配比是中文 56.5%，英文约 30%，代码约 10%，其余是其他内容。这个配比反映了她的定位——以中文对话为核心。中文占比超过一半，确保中文能力是第一优先级；保留相当比例的英文和代码，因为很多知识（尤其是技术和科学知识）在英文中更丰富，而代码训练已被证明对推理能力有帮助。
配比不是随意选的
好的配比来自实验。在正式训练之前，通常会用较小的模型和较短的训练做多组对比实验——每组用不同的配比，训练之后在各项评测上比较。
研究者发现了一些通用的规律：
- 即使模型主要面向一种语言，加入其他语言的数据也能提升主语言的性能——因为不同语言共享很多知识和语言结构。
- 代码数据对模型的推理和逻辑能力有显著帮助——即使你不需要模型写代码。
- 数学和科学文本对模型的精确推理能力有帮助。
上采样和下采样
有时候某种类型的高质量数据本身数量不够。比如高质量的中文学术论文可能只有 10 亿 token——不够在 200 亿的训练中占到足够的比例。
解决方法是上采样（upsampling）——让这部分数据在训练中被看到不止一次。如果上采样 2 倍，这 10 亿 token 的数据会被训练两遍。
但上采样不能过度——如果同一段文本被看到太多次，模型会开始记忆（而不是学习），过度拟合到这些数据上。研究表明上采样超过 3-4 倍后收益递减甚至有害。
反过来，如果某种类型的数据太多（比如低质量的网页），需要下采样（downsampling）——只随机取用一部分。
这个单元学了什么
五个章节覆盖了训练数据的完整流程：
- 数据来源（第 42 章节）：Common Crawl、FineWeb、书籍、代码等。
- 去重（第 43 章节）：精确去重和 MinHash 近似去重。
- 质量过滤（第 44 章节）：训练分类器区分高低质量。
- 基准去污染（第 45 章节）：从训练数据中移除评测题目。
- 数据配比（本章节）：中文 56.5%、英文 30%、代码 10%。
到这里，预训练的全部内容——架构、训练方法、硬件、数据——都讲完了。预训练产出的是一台续写机器。下一个单元开始讲后训练：怎么把续写机器变成一个能对话的助手。