进阶 · 写给想多一点的人

大模型是怎么运行的:以 Transformer Explainer 为例

这篇围绕一个叫 Transformer Explainer 的交互式可视化工具展开。它会告诉你,大模型处理一句话时,每一帧都在发生什么。

你在浏览器里直接打开它:transformer-explainer.github.io。不用注册不用装,打开就玩。


第一件事:分词

模型不认识字,只认数字。第一步是把一句话拆成 token(最小语义单元),再给每个 token 编一个数字号。

比如"今天天气不错"拆成 [今天, 天气, 不错],每个词变成一个 ID。你在 Transformer Explainer 里输入一句话,它马上告诉你切成了哪些 token、ID 是多少。换几个句子试试,马上就能感受到"文字变数字"这个过程。


第二件事:注意力

猜下一个字时,模型不是平等地看上文所有字。比如猜"今天天气不____"的下一字时,"天气"和"不错"的关联比"今天"高。

你可以在 Transformer Explainer 里看到注意力热力图。第一次看最直观的感受是:"它不是乱猜的,是有依据的。"

注意力是大模型的导航仪。没有它,模型不知道应该看哪里。

第三件事:逐字生成

分词和注意力做好后,模型开始一个字一个字地往外吐。每次生成一个 token,模型都算一次所有候选 token 的概率,挑概率最高的那个。然后接回原文,再跑一遍,再猜下一个。如此循环。

Transformer Explainer 会用动画展示逐字生成的过程。看几遍你就会发现:它根本不是想出来的,是算出来的。

整个过程没有思考,只有概率、加权、选最大概率的字。循环往复,就像在思考。

怎么玩

打开 transformer-explainer.github.io,输入一句话。你会看到:左侧把句子切成 token;中间热力图告诉你模型在看哪里;右侧逐字生成。记住三个概念:分词 → 注意力 → 逐字生成。

人工智能ABC · press 主题 · 进阶