基础概念 · 硅星人

什么是NLP?从Siri到ChatGPT都离不开的技术

你掏出手机说"明天早上八点叫我起床",Siri 听懂了,设了个闹钟。你在谷歌搜"巴黎天气",还没打完,结果已经出来了。你打开 DeepL 贴一段中文,眨眼变成了英文。这三个场景,背后是同一个技术——NLP,自然语言处理。


1. NLP 到底在解决什么问题

简单说,NLP 让计算机理解人类语言。不是让计算机"学会说话"——那是生成。NLP 关心的是"听懂":你把一段话扔进去,计算机能不能抓住意思。

计算机擅长结构化数据。表格、数据库、数学公式——这些它拿手。但人类语言不是结构化的。"我差点没考上大学"——到底考上没考上?母语者秒懂,学中文的外国人得想半天。计算机比外国人还笨,它需要一套方法,把"人话"翻译成它能算的数字。

硅谷和国内,实际上都在解决同一个核心问题:怎么把字变成数,同时尽量不丢意思。


2. 硅谷路线:堆数据,堆算力

Google 2017 年放出 Transformer 架构。核心改动就一个——所有词同时互相"看见",不用再像以前那样排队一个一个读。效果惊人。BERT 在 11 项 NLP 任务上横扫榜单。GPT 选了另一条路:只堆解码器,只管规模。然后发现模型学会了写文章、写代码、甚至做推理。

GPT 系列、Claude、Gemini——硅谷这帮大公司走的是同一条路:更大的模型,更多的数据,更强的算力。效果确实好。代价也极高。训练一个前沿模型的电费,够一个小城市用一年。


3. 国内路线:追得紧,找差异

国内大厂跟进很快。百度 2019 年出了 ERNIE,阿里的通义千问、字节的豆包,构成了中文 NLP 的主力阵容。

中文有自己的难处。没有空格,分词天然比英文麻烦。"南京市长江大桥"——按词切还是按字切,意思差很远。中文语料质量也参差不齐,清洗数据花的功夫比英文多一倍。国内团队在这些问题上做了不少实事。没有白走的路,这些经验最后都回馈到模型效果上了。


4. 核心动作:分词 + 嵌入

不管硅谷还是国内,NLP 的第一步都一样——分词。把句子切成计算机能处理的最小单元,叫 Token。中文没有空格,"我今天很开心"切成"我·今天·很·开心"还是"我·今·天·很·开·心",取决于词表怎么设计。现在主流做法叫 BPE,先拆到最小,然后统计哪些组合出现最多,合并成一个 token。常见词如"模型""数据"整块处理,生僻词拆到更细。

分完词,每个 token 只是一个编号——137、258。但编号的大小没有意义。"苹果"是 137,"香蕉"是 138,差 1 不代表语义近。嵌入(Embedding)就是解决这个——把编号转成一串数字向量,比如 768 维。关键结果是:语义相近的词,向量在数字空间里也靠得近。

分词 + 嵌入 = 把"人话"翻译成计算机能算的数字。NLP 的一切都建立在这两步之上。

5. 2026 年的 NLP 长什么样

今天做 NLP,基本等于"调用大模型"。以前你要做个情感分析——分词、去停用词、做特征工程、训练分类器、调参数。一个流程走下来,一周起步。今天你写一段提示词,大模型全干了。

代价呢?每次调用都要花钱。而且大模型是个黑箱——输出错了,你很难像以前那样定位到哪一步出了问题。进步是真的。但那些被跳过的底层能力——准确分词、精细调参、错误定位——会的人越来越少了。

还有一个有意思的变化。NLP 作为一个独立学科,正在被"AI"这个大词吞掉。十年前它有自己比赛(GLUE、SuperGLUE),有自己的学术会议(ACL、EMNLP),有自己的经典工具(NLTK、spaCy)。今天你说"做个 NLP 任务",别人会回你"去问一下大模型不就行了"。技术被简化了。代价也被藏起来了。


6. 相邻概念

  • 分词(Tokenization):把句子切成计算机能处理的最小单元。NLP 的第一步,中英文难度差很多。
  • 嵌入(Embedding):把词编号转成数字向量。语义近的词,向量也近。NLP 从规则走向深度学习的关键一步。
  • 注意力机制:Transformer 的核心创新。让模型看输入时知道"重点在哪",而不是均匀分配注意力。
  • 大语言模型(LLM):NLP 今天最耀眼的产物。海量数据加巨量算力训练出来的通用语言模型,能聊天、能写代码、能做推理。
  • 微调(Fine-tuning):拿一个预训练好的大模型,用小数据集再训练一下,让它学会干某个具体任务。比从头训练省太多钱。
概念解析 · 人工智能ABC