去重解决了重复内容的问题。但去重后的数据里仍然有大量低质量内容——语法不通的文本、机器翻译的劣质翻译、广告软文、SEO 垃圾页面、无意义的表格或列表。
质量意味着什么
「高质量」在预训练数据的语境中，大致意味着：
- 语言流畅、语法正确
- 包含有意义的信息
- 不是垃圾内容（广告、spam、SEO 填充）
- 不是有害内容（仇恨言论、暴力描写等）
但这些标准很模糊——人可以直觉判断，机器怎么判断？
质量分类器
常用的方法是训练一个分类器——一个小模型，输入一段文本，输出「高质量」或「低质量」的判断。
训练这个分类器需要标注数据。一种做法是：把维基百科和高质量书籍作为「正样本」（高质量），把未经过滤的随机网页作为「负样本」（低质量），训练一个文本分类器。
训练好的分类器可以给每段文本打分。分数高的保留，分数低的丢弃。通过调整阈值，你可以控制过滤的严格程度——阈值高了只保留最好的，数据量变少；阈值低了保留更多数据，但平均质量低一些。
过度过滤的风险
过滤太严格也有问题。如果只保留「像维基百科一样」的文本，模型就只见过百科体裁的写作——它不会说口语，不会写代码，不理解非正式表达。
好的过滤策略需要在质量和多样性之间取得平衡：过滤掉明显的垃圾，但保留多种风格和体裁的文本。
语言特定的挑战
质量过滤对中文有额外的挑战。互联网上的中文内容中，机器翻译的比例很高——很多网站把英文内容机翻成中文，语法虽然表面上通顺，但表达不自然。质量分类器需要能识别这种「语法对但不地道」的文本，这比识别明显的垃圾要困难。
Sophia 的技术报告提到了对中文数据质量的特别关注——这是她以中文为核心的训练策略的一部分。
下一章节来看一个容易被忽视但至关重要的数据处理步骤：基准去污染。