基础概念

概念解析——数据清洗

数据清洗(Data Cleaning)是把原始数据里的噪声、错误、偏差、重复和无用内容挑出来扔掉的过程。训练数据有多脏,清洗就有多重要——模型能学到什么水平,下限由算法决定,上限由数据决定。


1. 数据清洗要解决什么

从网上扒来的原始数据,是一团麻。同一句话出现几十遍、夹杂着广告链接、混着乱码、还有辱骂和偏激言论。模型不懂分辨,看到什么它就学什么。

如果不洗,模型就会把"重复"当"重要"来背,把"骂人话"当"正常表达"来学,把"广告文案"当"知识"来吸收。结果是模型说出来的话带着莫名其妙的偏见和口癖。

数据清洗的目标就三个字:去杂质。去掉那些让模型学歪的东西,只留下干净、准确、有信息量的数据。


2. 标准清洗五步

第一步

去重(Dedup)

把一模一样、或者几乎一样的内容删到只剩一份。网上同一篇文章常被转载几百遍,爬虫一抓全进来了。Meta 训练 Llama 2 时发现,去掉重复数据后总量变少了,模型反而学得更好。去重是回报最高的清洗步骤,值得最先做。

示例:原始数据里有五条"鲸鱼是哺乳动物。"——去重后只留一条。模型不会因为这句话出现次数多就给它额外的重视。
第二步

去噪(Denoising)

清掉网页标签(<div>、<script>)、广告、导航栏、乱码字符。这些东西跟正文无关,模型不该看到。

第三步

低质过滤(Low-quality Filtering)

扔掉太短的句子、语句不通的文本、信息量太低的内容。判断标准是可量化的规则:最少字数、重复字符比例、是否成句。太短的信息量太低,留着只会拉低整体质量。

第四步

有害内容过滤(Toxic Content Filtering)

过滤掉辱骂、歧视、违法、不安全的内容。这一步可以用关键词匹配,也可以用分类模型自动判别。Facebook 的仇恨言论过滤、OpenAI 的内容审核 API 都是这里用到的技术。

第五步

格式统一(Normalization)

把编码、标点、字段格式统一成一个样。全角半角混在一起不行、UTF-8 和 GBK 混在一起不行、日期格式不统一也不行。统一之后模型才能成批读取。


3. 更高级的清洗:近似去重

精确去重只抓模样一一样的句子,但互联网上大量内容"长得差不多但不完全一样"——同一条新闻换个措辞改写、一篇文章被翻译成不同语言后再被抓回来。这些东西也需要去重。

近似去重(Near-dedup)靠的是 MinHash + LSH(局部敏感哈希)。基本思路:把每段文本转成一组哈希签名,两段文本签名重叠越多,就越可能相似。LSH 把签名分桶,只用比较同一个桶里的文本,把复杂度从 O(n^2) 降到接近 O(n)。Google 的 C4 数据集就用这套思路处理了数 TB 的网页数据。

近似去重要回答的问题是:这两段话"意思差不多",要不要只留一段?MinHash 给出的是工程上的高效答案。

4. 另一个维度:困惑度过滤

有些脏数据不是明显的广告或乱码,而是"看起来通顺但信息量极低"的内容——比如"好的好的好的好的好的好的好的"。这种靠规则不好抓,但语言模型自己就能识别。

训练一个小语言模型(比如 1 亿参数),用它算每段文本的困惑度(Perplexity)。困惑度低的文本——模型觉得"很顺畅"——是新信息少的废话;困惑度高的——模型觉得"看不懂"——可能是乱码或外语。取中间段的保留,两头的都扔掉。这个"夹心策略"在实际生产中效果不错。

示例:"今天天气晴朗,适合出门散步。"——困惑度适中,保留。
"今天天天天天天气气气气气。"——困惑度很低(模型觉得"看见过很多次了"),扔掉。

5. 为何数据质量比数量更重要

2021 年,Google 的研究员在论文中提出了 LIMA 假设:一个模型只需要 1000 条精心挑选的高质量示例,就能在大多数任务上达到不错的效果,效果可以媲美用 10000 条噪声数据训练的结果。那篇论文的标题很直白:《LIMA: Less Is More for Alignment》。

核心逻辑不复杂:高质量数据提供的是"密度",低质量数据提供的是"数量"。密度够了,数量反而不那么重要。就好像学英语:反复读一篇高质量的外刊文章,比囫囵吞枣看一百篇掺水的内容收获更大。

这不意味着 1000 条就能替代 100 亿条预训练数据。LIMA 说的是"对齐"阶段——即让模型学会跟人类对话的微调阶段——数据质量可以大幅压缩数据量。但在预训练阶段,量仍然重要,只是清洗同样必不可少。


6. 常用工具

清洗不需要什么大框架,几个小工具就能搭起一条管线:

  • FuzzyWuzzy:Python 的字符串模糊匹配库,基于 Levenshtein 距离计算两个文本的相似度,适合做近似去重的前置筛选。
  • pySpark:大数据场景下的清洗引擎。几十 TB 的数据单机跑不动,需要分布式。pySpark 的 DataFrame API 配合 UDF(用户自定义函数),就能在集群上跑去重、过滤、格式统一这些操作。
  • datasketch:Python 的 MinHash 实现,轻量好用,做近似去重的标配。
  • fastText / BERT:用来做有害内容过滤的语言分类模型。训练一个二分类器(安全 vs 不安全),比纯关键词匹配要准确。

大公司的清洗管线会复杂得多——Google、Meta、OpenAI 内部有完善的自动化流水线,但底层的逻辑不外乎上面这些步骤。


7. 清洗的边界

清洗不是越狠越好。规则定太松,脏东西漏进去;定太严,连有用的也被一起删掉。

一个真实的例子:清洗时设了"少于 10 个字就丢掉"的规则,结果"韩寒说过……""鲁迅说过……"这类带引用的短句全被误删了。尺度的拿捏需要反复调。

另外:清洗能挡住"无意混进来的脏",但挡不住有人故意往数据里塞坏样本来带歪模型——那是数据投毒,属于安全问题,得用另一套办法应对。


8. 相邻概念

数据清洗不是孤立的。顺着它往下走,你会遇到:

  • 数据标注:洗完之后给数据打标签,变成模型能用的"教材"。
  • 数据集构建:把清洗和标注串起来,搭一条完整的数据生产线。
  • 训练数据集:清洗完的数据集拿去训练,质量和数量共同决定模型的上限。
  • 预训练:在大规模清洗过的通用数据上训练基础能力。
  • 监督微调(SFT):在清洗后对齐数据上做指令微调,让模型学会对话。
概念解析 · 人工智能ABC