基础概念
概念解析——训练数据集
训练数据集就是喂给 AI 模型的学习材料。模型刚造出来时什么都不会,它的全部本事——理解语言、回答问题、写代码、翻译——都是从这些材料里"看"会的。模型聪不聪明,不只靠算法和参数,更大程度上取决于它读的那批材料好不好、够不够、干不干净。
1. 什么是训练数据集
模型就像学生,训练数据集就是教材。学生能学到多少、学得正不正,先看教材选得好不好。覆盖全、表述准、没有错,学生就学得扎实。教材又偏又乱,学出来也歪。
训练数据集是一大批经过整理的文本——网页、书籍、代码、问答对、对话记录——以模型能消化的格式打包在一起。模型在训练时一遍遍"读"这些材料,从中统计出词语搭配的规律、句子的结构、知识的关联,把语言和世界的运作方式学到自己的参数里。
同一个模型,结构、参数量、训练方式完全相同,只换一套训练数据,出来的效果天差地别。喂网络闲聊段子,它答正经问题只会打哈哈;喂规范的教科书,答得有条有理。数据不同,模型就不同。
2. 好数据集的四个关键
多大才够
大语言模型需要的文本量是天文数字。GPT-3 在约 5000 亿 token 上训练,到 Llama 3 已经是 15 万亿 token。顶尖模型预训练阶段通常要在 10 万亿 token 以上的语料上跑过。规模不够,模型学不到足够的语言模式和知识,就像学生只读了一本薄册子就去考试。
干净比多更重要
很多人以为数据越多模型越强。实际上掺进去的脏数据会把好东西冲淡。Meta 训练 Llama 2 时去掉重复数据,数据量小了一截,模型反倒更好。脏数据包括:乱码段落、机器生成的废话、错误信息、低质重复的内容。一条好数据胜过十条凑数的。
光靠一类学不会全部
模型要能应对各种场景,训练数据就不能偏。只喂代码,模型写诗不行;只喂文学,模型做逻辑题不行。好的数据集覆盖新闻、论文、代码、对话、百科、小说等多个领域,让模型从不同风格的文本里学到通用的语言能力。
配比决定性格
数据不是倒在一起就行。各类数据的配比直接影响模型的行为偏向。代码多一些,逻辑推理变强;教科书多一些,用语更正式;对话多一些,更会闲聊。顶尖团队花大量精力调这个配比,它直接决定模型的"性格"。
3. 规模对比:预训练数据 vs 指令数据
很多人以为训练只有一种数据。其实模型训练分阶段,每个阶段喂的数据类型和规模完全不一样。
预训练数据的量最大。一个 70B 参数的模型,预训练阶段要读 10 万亿 token 以上的文本。假设一本书 10 万 token,10 万亿相当于十亿本书。这些数据从全网爬取,量大、面广、但比较脏,模型从中学会语言的基本规律和广泛知识。
指令数据(SFT)的量小得多。监督微调阶段只需要几千到几十万条问答对。每条数据是一条明确的"指令 → 理想回答"。数据量不需要大,但质量要求极高:回答要准、格式要对、风格要一致。好比预训练是让学生读了一个图书馆,指令微调是拿几道例题教他怎么答题。
偏好数据的量介于两者之间。偏好对齐阶段用几万到几十万条对比数据——同一个问题给两个回答,人标出哪个更好——告诉模型"这样答比那样答更招人喜欢"。
4. 数据拼盘:训练集里都掺了些什么
一个现代大模型的训练数据集不是单一来源,而是一份精心配比的混合拼盘。主要的原料有五种。
网页抓取(CommonCrawl 等)。这是最大的一桶。Common Crawl 是一个非营利组织提供的互联网快照,每月爬取量在数十亿网页。几乎所有大模型都拿它当底料。优点是量大、覆盖广、便宜;缺点是质量参差不齐——里面有新闻、个人博客、论坛帖子、电商页面,甚至垃圾站的内容。
书籍。经过出版社审校的书籍是质量最高的数据源之一。大模型团队会扫描数十万册电子书,涵盖文学、历史、科学、哲学等各门类。Books3 等公开数据集曾被多家模型使用,但也引发了版权争议。
代码。GitHub 上的公开仓库是代码数据的最大来源。代码对模型的逻辑推理能力帮助极大——它要求的不是"说得顺",而是"逻辑对、能跑通"。The Stack 数据集包含了超过 6TB 的公开代码。
学术论文。arXiv 论文、教科书、技术报告提供了高度结构化、引用严谨的高质量文本。它们对模型回答专业问题的能力至关重要。问题是数量有限——全世界论文加在一起也没多少。
多语言数据。光喂中文和英文不够,模型需要覆盖更多语言。维基百科用上百种语言写成,是多语言训练的常用来源。高质量多语言数据比英文数据更难找,这也是非英文语言模型效果不及英文模型的根本原因。
5. 数据墙:高质量文本快要不够了
大模型越做越大,需要的文本量增长更快。但地球上优质文本的总量有限。这就是"数据墙"(Data Wall)问题。
研究机构 Epoch AI 在 2024 年发表过一份测算:模型训练的数据需求按当前速度增长,高质量的公开文本数据——书籍、新闻、论文、百科——可能在 2028 年前后就会被耗尽。到那时,模型想要更大的数据集,就不得不依赖低质量的网页数据或机器合成数据。
这个局面已经引发几个方向的反制。一是用合成数据(让强模型自己生成训练材料),二是用多模态数据(图片、视频、音频也可以作为训练信号),三是拼命提升数据效率(用更好的算法从现有数据中榨出更多学习量)。但目前还没有一个方向能替代真实的高质量文本。
训练数据从"想爬多少爬多少"的阶段,正在转向"优质数据是稀缺资源"的阶段。数据的采集、清洗、标注、配比——几年前被当成体力活的事情——正在成为模型竞争力最核心的壁垒。
6. 从原始材料到训练集:四关
网上扒下来的原始材料不能直接喂给模型,得先走一条流水线。
收集。从网页抓取、公开数据集、人工编写、模型合成等来源攒材料。这时候它又多又乱。
清洗。把重复、乱码、低质、有害的样本剔掉,统一格式。洗完量变少了,但变干净了。
标注。给数据加上标签或标准答案:指令配回答、两个回答比好坏。让模型有正确的方向可学。
打包构建。把整理好的数据切块、配比、转成模型能读的二进制格式,导出成可以直接喂进训练的最终数据集。
7. 相邻概念
训练数据集不是孤立概念。顺着这些方向能看清整条"数据→模型"的链条:
- 数据标注(Data Annotation):给原始数据加标签和标准答案的过程。没有标注就没有 SFT 数据和偏好数据。
- 数据集构建(Dataset Construction):把清洗、标注好的数据打包成模型可直接读取的格式,涉及配比、分片、tokenization。
- 数据清洗(Data Cleaning):去除重复、低质、有害内容的流程,是决定数据质量最关键的一步。
- 预训练(Pretrain):模型训练的第一阶段,在海量无标注语料上学习语言规律。最消耗数据量的阶段。
- 监督微调(SFT):用少量高质量问答对让模型学会听懂指令、按要求输出。