大语言模型
概念解析——上下文窗口
上下文窗口(Context Window)是大语言模型一次推理能「看到」的全部文本的最大长度。模型没有硬盘,每次请求都是把系统提示词、工具定义、历史消息、当前提问拼成一段文本喂进去。这一段就是它这一秒的全部工作记忆——关掉就没。
1. 上下文窗口是什么
简单说:模型一次能处理的最大 token 数量。GPT-3 时代的窗口是 4K tokens,相当于一篇短文。到 2026 年,主流模型普遍到 1M tokens,Gemini 3 Pro 甚至到了 2M。但窗口变大的代价也很大——它不是无成本的福利。
上下文窗口的工作方式很直接。你发一个请求,服务端把 system prompt、工具定义、前面聊过的话、RAG 检索回来的内容、你这次的问题——全拼成一段连续的文本。模型拿到这段文本开始做注意力计算,输出答案。下一轮请求,又从零拼一遍。
一个关键事实:装得下不等于记得清。模型在长文本里找到关键信息的能力随着窗口变长而下降,这叫「中间信息丢失」(Lost in the Middle)。后面会细讲。
2. 从 4K 到 2M —— 窗口的进化史
GPT-3:4K 就是天花板
GPT-3 的上下文窗口是 4,096 tokens——大约 3,000 个英文单词。够写一篇短文,但聊几轮就满了。当时没有人觉得 4K 小,因为大家还在「让模型把一句话补完」的阶段,不是让模型读长文档。
GPT-4:窗口开始卷
GPT-4 首发 8K,加了一个 32K 的变体。Claude 2 直接把窗口推到 100K——当时市场震动,因为 100K 意味着可以整本小说丢进去让模型分析。同年晚些时候,GPT-4 Turbo 跟到 128K,这成了 2024 年的「标配」。
百万级窗口:从噱头到标配
2025 年 Gemini 1.5 Pro 率先支持 1M tokens。2026 年几乎全线跟进:Claude Opus 4.7 和 GPT-5.5 都是 1M,Gemini 3 Pro 到了 2M。前沿模型的训练窗口从 4K 涨到了 1M——五年 256 倍。但「支持 1M」和「在 1M 文本上表现稳定」是两回事。
3. 为什么长窗口这么难
长窗口不是把模型参数里的数字改大就能搞定的。它有三个核心难题。
注意力复杂度的诅咒
Transformer 的核心是自注意力(Self-Attention)。每个 token 要对序列里所有其他 token 算一遍注意力分数——复杂度是 O(n²)。窗口翻倍,计算量翻四倍。1M 的窗口如果照 128K 的算法直接放大,计算量要涨 64 倍。所有长窗口技术本质上都在对抗这条曲线。
中间信息丢失
2023 年的一篇论文1揭示了一个稳定现象:当输入文本超过一定长度,模型对开头和结尾的内容记得最清楚,中间部分的信息召回率显著下降。实验显示,关键信息放在长文本的中间位置,模型找它对的能力比放在开头或结尾差得多。这个现象后来被大量复现,成为长上下文模型的头号问题。
长度外推的难题
模型训练时用的序列长度是固定的(比如 128K),推理时输入的序列可能比训练时长得多。模型没见过那么长的位置编码,在位置表征上出现「序列断档」——后面的位置没有对应的训练分布。解决这个问题需要特殊的位置编码技术(RoPE、YaRN、ALiBi 等),但到今天仍然没有完美的方案。
4. 撑爆了会怎样
上下文窗口不是一道硬墙——撑满了模型不会报错,不会拒答。它给你一个看上去像那么回事、实际上抓不住重点的回答。四个典型症状:
- 走神:忘了对话开头说过的决策和约束。模型按位置加权时,远的东西优先级低,指令被覆盖。
- 中间信息丢失:窗口中间的内容被模型直接忽略。开头和结尾的内容优先被关注,中间的等价于不存在。
- 注意力稀释:每个 token 分到的注意力变薄。模型从「精准定位关键信息」变成「泛泛地扫一遍」,回答从具体变成笼统。
- 答非所问:前面出现过的内容反复打断模型,让它总在过去的细节上打转,无法聚焦当前问题。
关键洞察:退化不是突然发生的。上下文占用超过 50% 时模型就开始下滑,超过 75% 时退化明显加速。到 90% 以上,回答质量已经不可靠了。但用户界面看起来一切正常——这是最坑的地方。
5. 扩展窗口的技术路线
要让模型在更长的上下文上表现好,目前有四条技术路线。
RoPE(旋转位置编码)
RoPE 是目前最流行的位置编码方案。它把位置信息编码成旋转矩阵,让模型天然能感知 token 之间的相对距离。RoPE 的好处是支持一定程度的位置外推——训练时用 4K,推理时可以用到 8K 甚至更长,虽然会损失一些精度。GPT-4、LLaMA、大部分开源模型都用它。
YaRN(Yet another RoPE extensioN)
YaRN 是一种改进的 RoPE 扩展方法。它通过调整旋转频率的分布,让 RoPE 能外推到更长的序列。简单说:把位置编码的「节奏」拉长,让模型在更长的位置上仍然能分辨不同位置的差异。LLaMA 3.1 的 128K 窗口就是通过 YaRN 从 8K 训练扩展到 128K 推理的。
ALiBi(注意力线性偏置)
ALiBi 走了一条不同的路:不给 token 加位置编码,而是直接给注意力分数加一个与距离成正比的偏置——越远的 token,偏置越大,注意力越低。这种设计天然支持外推,因为它的位置信息不是「学出来」的而是「算出来」的。ALiBi 的优点是实现简单,但表达能力不如 RoPE。
Ring Attention(环形注意力)
Ring Attention 是分布式计算层面的方案。它把超长序列分到多个 GPU 上,每个 GPU 只算自己那块的自注意力,然后通过环形通信把结果拼起来。这让单次推理能处理的上下文长度不再受单卡显存限制。1M 和 2M 的窗口,背后几乎都是用 Ring Attention 或其变体实现的。
6. 上下文窗口 vs RAG
面对超长知识库时,有两个思路:把整份知识库塞进上下文窗口,还是用 RAG(检索增强生成)把相关内容捞出来再喂给模型。各有取舍。
长窗口方案的好处是简单直接——全部丢进去,模型自己决定看哪里。缺点前面说了:中间信息丢失、注意力稀释、成本高。长窗口推理的 KV Cache 占用随序列长度线性增长,1M token 的单次推理成本远高于多轮短对话。
RAG 方案先检索再生成,每次只把最相关的几个 chunk 塞进窗口。优点是窗口占用少、成本低、模型注意力集中。缺点是检索质量决定了回答质量的上限——检索没捞到相关信息,模型再强也答不对。而且检索多了一步延迟。
7. 相邻概念
上下文窗口不是孤立的概念。顺着这些方向深入,能看到更完整的图谱:
- KV Cache:Transformer 推理时缓存 Key/Value 张量来避免重复计算。长上下文窗口的显存瓶颈,主要来自 KV Cache 随序列线性膨胀。
- 注意力机制:上下文窗口里每个 token 之间互相「看」的方式,决定了模型能捕获多远距离的依赖。
- RAG 检索增强生成:用外部检索扩展模型知识范围的手段,与长上下文窗口形成互补关系。
- 文本分块(Chunking):RAG 系统中决定检索质量的基础步骤,与上下文窗口的 token 管理直接相关。
- 模型推理:上下文窗口是推理阶段最核心的资源约束之一,决定了单次推理能接受的最大输入。
参考资料
- Liu et al. "Lost in the Middle: How Language Models Use Long Contexts." 2023.
- Su et al. "RoFormer: Enhanced Transformer with Rotary Position Embedding." 2021.
- Peng et al. "YaRN: Efficient Context Window Extension of Large Language Models." 2023.
- Press et al. "Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation." 2021.
- Liu et al. "Ring Attention with Blockwise Transformers for Near-Infinite Context." 2023.
- BenchLM.ai 2026-04 长上下文模型横评报告。
- 各家官方 API 文档(OpenAI、Anthropic、Google DeepMind),2026-Q2。