AI 智能体
概念解析——上下文工程
上下文工程(Context Engineering)是系统性地组织模型输入上下文的工程方法。提示词工程主要管用户写的那条消息,上下文工程管的范围大了不少——系统提示词、示例、检索文档、对话历史、用户输入,全在它的地盘里。怎么放、放多少、谁先谁后、空间不够时舍谁——这些决策合起来,就是上下文工程。
1. 不只是提示词
很多人觉得调教大模型就是"写提示词",实际上一段提示词只是上下文窗口里的一小块。上下文窗口里装的,远不止用户敲的那几行字。
上下文工程和提示词工程的区别:提示词工程关注"怎么写出效果更好的指令",上下文工程关心"整个上下文空间怎么配置最优"。提示词工程是运动员,上下文工程是教练——后者决定上场的阵容、顺序和换人时机。
一个典型的对话接口背后,实际送入模型的内容是:系统提示词 + few-shot 示例 + 检索到的文档片段 + 多轮对话历史 + 当前用户输入。提示词工程只碰最后一项(以及系统提示词的设计),其余的归上下文工程管。
2. 上下文的结构
上下文窗口是一条一维序列,但内容来自多个源头。这些源头如何拼接、拼接成什么顺序,直接影响模型输出的质量。
System Prompt
位置的"锚点",通常放在上下文最前面。它定义角色的行为边界、输出规范和安全约束。系统提示词在全对话生命周期中只设一次,但影响每一轮生成。
Few-show 示例
放在系统提示词之后,用户输入之前。给模型"照着这个格式来"的参考。示例的数量和质量比提示词本身的措辞更影响输出格式的稳定性,但会吃掉上下文预算。
检索文档
RAG 系统的核心输入。从向量数据库或搜索引擎里召回的相关片段,拼进上下文让模型能"看到"它训练时没见过的最新信息。放多少、放哪一段、文档之间怎么排——决定 RAG 效果的上限。
对话历史
多轮对话的记忆载体。太长了窗口装不下,太短了模型"失忆"。需要策略性地截断或摘要历史——经典的"滑动窗口"方案只保留最近 N 轮,更高级的做法会定期总结中间内容。
用户输入
每次调用中用户实际发出的消息,通常放在上下文末尾。提示词工程主要在这里发挥作用。
3. 顺序效应
Transformer 的自注意力机制虽然理论上能"看到"所有位置,但大量实验表明:上下文不同位置的 token,模型关注的程度不一样。
首位效应(Primacy Effect)
上下文靠前的内容,模型记得最牢。系统提示词放在最前面,就是利用了这一点。重要指令、关键约束应该往前放。
近因效应(Recency Effect)
上下文靠后的内容,模型也记得比较牢。用户的当前输入在最后,模型会重点参考。所以需要在用户问题前面再加一段"最新指令",可以强化对本次输出的控制。
迷失在中间(Lost in the Middle)
上下文中间位置的内容,模型最容易忽略。Liu et al. (2024) 的论文量化了这种现象:在长上下文中,模型对中间位置的召回准确率比首尾两端低了 20-30%。这对 RAG 尤其致命——检索到的文档如果堆在中间,模型可能"看到但不理会"。
4. 上下文预算管理
上下文窗口有上限(128K、200K 甚至 1M token,视模型而定),但上下文窗口不是免费的。实际场景中至少有三重约束。
第一重:窗口尺寸。超过上限的输入会被截断或报错,所以必须确保内容不超限。RAG 场景中最容易被忽视的是:多个检索片段加起来可能超过窗口容量。
第二重:推理成本。Transformer 的注意力计算时间与上下文长度近似平方关系。上下文越长,每次生成就越慢、越贵。把上下文压到够用的长度,不是抠门,是工程效率。
第三重:注意力稀释。上下文太长时,模型在每个 token 上的有效注意力会被摊薄。即使窗口装得下,效果也会下降。这是"长上下文"和"有效上下文"的区别——标称窗口 200K,实际有效利用可能只有 50K。
5. 动态上下文组装
静态地把所有内容塞进窗口是低效的。生产级的上下文工程需要动态组装——每次请求根据当前情况实时决定上下文内容。
检索排序与筛选。从知识库拿到候选文档后,按相关性排序,截取最前面的 K 条。还可以引入重排序(Rerank)模型——第一步用轻量模型快速召回候选,第二步用更精确的重排序模型精排,只取前排。
历史压缩。不把完整的对话历史全部塞入上下文。替代方案:保留最近的 N 轮完整消息,更早的历史用模型总结成一段摘要。这叫"混合记忆"——最近的事记得细,远的事记得大概。
上下文窗口的"分层"。系统提示词始终保留,少动;few-shot 示例按需加载——遇到新任务才放对应的示例,而不是把所有示例都放进去;用户输入只放当前轮。这是一个"常驻层"加"动态层"的结构。
用量感知。每次组装前先算一下当前已用 token 数,根据剩余空间决定还能塞多少新内容。这个计算听起来简单,但不同模型的分词器不同,token 数需要精确统计,不能靠字符数估算。
6. 三种场景的上下文策略
上下文工程的策略因场景而异,没有一招鲜。
Chat 场景:重点是对话历史管理。用户可能连续聊几十轮,核心挑战是"不失忆也不超限"。常见做法:滑动窗口保留最近 N 轮 + 定期摘要老历史。系统提示词固定在最前面,每轮用户输入+助手上一次回复追加在末尾。这时首位效应保持角色稳定,近因效应让模型关注最新对话。
RAG 场景:重头戏在检索文档的组织。检索到的文档放在系统提示词之后、用户问题之前。关键决策:文档之间用分隔符标记清晰、相关性最高的文档放最前和最末(利用首位和近因效应)、控制文档数量避免注意力稀释。迷失在中间效应在 RAG 中最明显——中间的文档被模型忽略的风险最高。
Agent 场景:上下文管理最复杂。Agent 的每次工具调用结果都会追加到上下文中,一轮接一轮,上下文像滚雪球一样膨胀。策略包括:工具调用完成后压缩中间步骤的详细输出为摘要、只保留最近几次完整的思考-行动-观察链、在上下文中维持一个"工作记忆"区域用于记录当前任务状态。Agent 场景下上下文工程还涉及错误恢复——历史太长时回退到关键状态快照而不是完整重放。
7. 相邻概念
上下文工程不是孤立的技能。顺着这些概念深入,可以理解它的完整图景:
- 提示词(Prompt):上下文工程的前身,关注用户消息层面的优化。
- 系统提示词(System Prompt):上下文中行为锚定最核心的一段内容。
- 思维链(CoT):在上下文中插入推理过程来引导模型逐步思考。
- 上下文窗口(Context Window):上下文工程的硬件约束,一切操作的边界。
- RAG 检索增强生成:上下文工程最重要的应用场景之一。