LEARN · 学习

从零训练一个语言模型

一

机器学习是什么

不告诉机器规则，让它自己从数据里学——四个概念搭起全课的地基。

01什么是机器学习——从规则到数据02神经元与层——一个函数怎么变成一张网03什么是语言模型——预测下一个词的概率04交叉熵与困惑度——怎么衡量预测的好坏
二

文字变成数字

从 Unicode 到 BPE：一个汉字怎么变成模型能算的数，词表又为什么不多不少。

05Unicode——计算机怎么存一个汉字06为什么需要 tokenizer——字、词、子词各有什么问题07BPE 算法——一步一步合并出词表08词表大小的取舍——为什么 Sophia 用 65,536
三

向量与矩阵

词怎么变成方向，方向之间怎么比较，一批方向怎么一次变换完。

09向量——一个词怎么变成一个方向10点积与相似度——两个词有多像11矩阵乘法——一次变换一整批向量
四

注意力

一个词怎么「看见」前面的词；为什么 KV cache 随长度增长，而递推状态不用。

12词嵌入——65,536 × 1,536 这张表在做什么13自注意力——一个词怎么「看见」前面的词14缩放与 softmax——为什么要除以 √d15多头注意力——16 个头各看什么16KV cache——推理时为什么内存随长度增长17线性注意力——用递推状态替代 KV cache
五

Transformer 的其余部件

残差、归一化、门控前馈、位置编码——把零散部件拼成完整的一层。

18残差连接——为什么要把输入加回去19RMSNorm——为什么每层都要归一化20前馈网络与门控——GLU、SiLU、SiTU-GLU21位置编码——RoPE、ALiBi、NoPE22MLA——把 KV 压成 latent 再存23Attention Residuals——浅层信息怎么直达深层
六

训练：梯度

loss 怎么从输出一路算回每个参数，以及为什么要把梯度限住。

24前向传播——从输入到 loss 的完整路径25反向传播——梯度是怎么一层一层算回来的26自动微分——PyTorch 怎么帮你算梯度27梯度裁剪——grad_norm 为什么要限住
七

训练：优化器

从 SGD 到 Muon：「下坡」这件事有多少种走法，矩阵参数为什么另当别论。

28SGD——最简单的下坡29Momentum——给梯度加惯性30Adam——自适应学习率31AdamW——把权重衰减从梯度里分出来32Muon——为什么矩阵参数需要不同的优化器
八

训练：节奏

学习率先慢慢加速、再沿余弦减速；一步看多少样本，是节奏的一部分。

33学习率——太大爆炸、太小不动34Warmup——为什么开头要慢慢加速35Cosine decay——为什么后期要减速36Batch size 与梯度累加——一步看多少样本
九

精度与硬件

BF16 与 FP32 的分工，一张显卡的显存、带宽与算力账本。

37浮点数——FP32、FP16、BF16 各是什么38混合精度训练——哪些算 BF16、哪些必须 FP3239GPU 是怎么工作的——核函数、显存层级、带宽40显存估算——参数、梯度、优化器状态、激活各占多少41CUDA Graph 与 MFU——怎么把一张卡用满
十

数据

语料从哪来，怎么去重、过滤、防泄题，最后按什么比例下锅。

42预训练数据从哪来——Common Crawl、FineWeb、开源语料43精确去重与 MinHash 近似去重44质量分类器——怎么区分好文本和坏文本45基准去污染——为什么考题不能出现在练习册里46数据配比——中文、英文、代码、数学各占多少
十一

后训练：SFT

教师蒸馏与行为脚本：教模型交谈，而不是替双方续写。

47什么是 SFT——从续写器到对话者48教师蒸馏——让大模型替你写训练数据49语料合成——行为脚本、验收程序、身份隔离50人格设计——system prompt 是训练信号51Completion-only loss——只算她说的部分
十二

后训练：偏好优化

DPO、RFT、GRPO——从成对偏好里学边界，以及收益在哪里递减到零。

52为什么 SFT 不够——正例训练的缺口53DPO——从成对偏好中学习54RFT——用自身最佳输出自蒸馏55GRPO——在线强化学习56后训练的天花板——剂量过冲与收益递减
十三

评测

怎么知道训练成功了：似然、判分、采样与统计检验。

57评测的种类——选择题似然、生成式、奖励模型58统计检验——为什么看一眼输出不算数59配对 t 检验——怎么比较两个模型60构建自己的评测集——SophiaBenchmark 是怎么设计的