AI 智能体

概念解析——Agent 循环

Agent 循环(Agent Loop)是 AI Agent 持续运行的迭代执行机制——LLM 在循环里反复推理、调用工具、观察结果,直到任务完成。它把 Agent 从"一次回答"变成了"多步做事"。所有看起来复杂的智能体,去掉包装后都是同一个模式的反复:想想 → 做做 → 看看 → 再想想。


1. 什么是 Agent 循环

你跟 ChatGPT 聊天,一问一答就结束——那是 Single-pass(单轮响应)。一个来回搞定的事,这种就够用。但"搜股票→算涨幅→画图表"这种多步任务,一个来回不行。需要 LLM 自己转圈干活:看一眼现状、选个工具、跑一下、再看结果——转到完事为止。这个循环就是 Agent Loop。

这个循环在学术界有一个正式的名字——ReAct(Reasoning + Acting),来自 2022 年 Yao 等人的论文。它把"推理"和"行动"交错在一起:模型每想完一步,就立刻去执行一个动作,看到结果后再想下一步。这和人类处理复杂任务的方式一模一样。

拆成伪代码就是 6 行:

while not done:
    response = call_llm(messages)
    if response.has_tool_calls:
        results = execute_tools(response.tool_calls)
        messages.append(results)
    else:
        done = True
return response

就一个 while 循环。LLM 每跑一轮,要么决定调用某个工具继续,要么判断"够了"就退出。两个关键名词:tool_calls 是 AI 说"我要调搜索/跑代码";messages 是把用户的话、AI 的回复、工具的结果一条条摞起来,下一轮 AI 接着看。

理解任务 → 调用工具 → 看结果 → 形成判断 → 回复用户。如果任务没完,就回到第一步继续转。

2. 为什么需要循环:单轮做不到的事

有些任务一句话就能答,不需要循环。"量子纠缠是什么?用大白话解释。"这种纯解释类问题,LLM 一次回答就够——开了循环也是白花钱。但真实世界的大量任务不是这样。它们需要多次推理、多次调用工具、多次看中间结果,才能给出最终答案。

对比:同样是"帮我查最近三个月 A 股涨幅最大的 10 只股票,分析行业分布,画一张可视化图表。"

Single-pass:模型编一个看似合理但完全没法验证的列表,这些数据是模型脑补的,今天到底涨没涨它不知道。也没法给你画图。
Agent Loop:调行情 API → 排序取 Top 10 → 查每只股票所属行业 → 聚合行业分布 → 调可视化工具生成柱状图。

两类任务的分界线很清楚:一类是不需要外部信息的纯知识问答,LLM 靠训练数据里的记忆就能回答;另一类需要实时数据、需要执行操作、需要分步推理——这些只能靠循环。


3. 一轮循环里的五阶段

把一轮 Agent 循环拆开看,内部按五个阶段走一遍。Agent 站里讲的是 Think → Act → Observe 三步走。这里拆成五步是为了看清谁在干活:Agent 框架、LLM、还是工具系统。

3.1

感知(Perceive)

Agent 把当前能拿到的所有信息塞进上下文。可能是用户的原始指令,可能是上一轮工具返回的结果,也可能是一个报错信息。Agent 框架负责把这些信息整理好,组成新的 messages 列表,准备送给 LLM。谁来做:Agent 框架。

3.2

推理(Reason)

LLM 拿到当前所有上下文,开始思考:现在是什么状况?目标达成了吗?下一步该干什么?这是循环的大脑。每次调用 LLM 推理都要花钱,所以推理频率直接决定 Token 成本。谁来做:LLM。

3.3

规划(Plan)

对复杂任务,LLM 会先做任务拆解——把大目标分成几个子步骤,排好优先级。简单任务可能直接跳到执行。规划这一步不一定独立发生,常常和推理合并在一次 LLM 调用里完成。谁来做:LLM。

3.4

行动(Act)

Agent 执行具体操作:调用一个 API、查一次数据库、跑一段代码、发一个 HTTP 请求。所有操作都通过"工具"(Tools)完成。工具的定义包含名称、描述和参数 schema——LLM 决定调用哪个工具、传什么参数。谁来做:工具系统。

3.5

观察(Observe)

工具返回结果后,Agent 检查:成功了吗?数据对不对?够不够?任务完成了吗?没完成就把结果追加到上下文里,回到感知阶段继续转。完成了就退出循环,输出最终结果。谁来做:Agent 框架。

值得注意的是,感知 + 推理 + 规划一起约等于 Agent 站说的"Think",行动 = "Act",观察 = "Observe"。拆细是为了看清成本从哪里来——每次推理都是一次 LLM 调用,每轮结果都追加进上下文,token 越攒越多。


4. 三种循环模式

Agent Loop 是统称。LLM 在循环里怎么思考和行动,业界演化出三种主流路子。

4.1

ReAct——边想边做

每一步先想(Thought)、再做(Action)、看结果(Observation),反复循环。想完做,做完看,看完再想。优点:灵活,每步都可以根据上步结果调整策略,容错强;缺点:每轮都调 LLM,Token 消耗高,步骤越多越贵越慢。适合探索性任务、路径不确定、需要随时纠偏的场景。

4.2

Plan-and-Execute——先想好再做

把规划和执行彻底拆开。先让 Planner 生成完整任务计划,再让 Executor 按计划逐步走。走完所有步骤,任务结束。优点:LLM 调用次数少,规划只做一次,执行不用重新推理,比 ReAct 快很多。缺点:计划错了或环境变了,整个流程容易跑偏。适合步骤清晰、环境稳定、对成本敏感的场景。

引用对比:LLMCompiler(ICML 2024)比纯 ReAct 快 3.6 倍。代价是灵活性下降——计划阶段的错误会在执行阶段不断放大。
4.3

Reflexion——做完回头看

在 ReAct 基础上加一层反思。Actor 干活 → Evaluator 打分 → Self-Reflection 复盘哪里错、为什么错、下次怎么办。反思笔记写进 episodic memory(错题本),下次类似任务取出来作为上下文。优点:能从失败中学习,不改模型权重,只靠自然语言反馈持续进步。缺点:Token 消耗三种里最高(多一次反思 = 多一次 LLM 调用),依赖明确的成功/失败信号。

实际工程里这三种经常混着用:Plan-and-Execute 做顶层框架,每个子步骤用 ReAct 处理不确定性,整体再加 Reflexion 做复盘。


5. 工具调用往返

The tool call round-trip 是 Agent 循环里最核心也最频繁的操作。它的完整路径是:LLM 输出一个结构化的函数调用→Agent 框架解析出工具名和参数→执行对应工具→把结果返回给 LLM→LLM 拿到结果后继续推理。

完整示例(3 轮完成一个真实任务):

任务:找 2026 年引用量最高的 Agent Memory 论文,总结核心发现。

Round 1:LLM 推理"目标是找一篇论文。第一步得先有个候选列表"→ 调 academic_search 工具,传入 query="agent memory", year=2026, sort="citations" → 返回 15 篇论文,最高引用:Reflective Memory Networks(340 次)。

Round 2:LLM 推理"引用最高那篇是 340 次,我要拿全文才能总结"→ 调 doc_retrieval 工具,传入 paper_id → 成功拿到摘要+核心章节,关键贡献:Episodic + Semantic 双轨记忆。

Round 3:LLM 判断"信息够了,这轮不需要调工具,直接输出"→ done = True → 退出循环,输出 3 段总结。

这个往返的关键在于:每次工具调用的结果都 append 到 messages 列表里,LLM 下一次调用时能看到全部历史。这意味着每多一轮,上下文就膨胀一轮——这是 Agent 设计中最核心的成本来源。


6. 人机协作模式

Agent 循环不是一定要全自动转到底。生产环境中,最常见的做法是人介入循环的某个节点。

Human-in-the-loop:Agent 在某些关键节点停下来,等用户确认再继续。典型场景:订票 Agent 搜到航班后先问用户"这个价格可以吗",确认后再下单;代码 Agent 改完文件后先出 diff 给用户 review,批准后才提交。这种方式牺牲了速度,但换来了安全性和可控性。

Autonomous 模式:Agent 拿到任务后自己决定每一步怎么做,不需要中间确认。适合自动化程度高、风险低的场景——比如定时跑数据报表、监控告警、自动回复常见问题。但"不需要确认"不等于"不需要看中间结果"——生产环境下至少要记录结构化日志,方便出问题时回放定位。

两种模式之间没有绝对界限。很多产品在这两个端之间滑动:简单操作用 autonomous,敏感操作切到 human-in-the-loop。关键在于工程师明确知道在每个节点谁做决定。


7. 停止条件与成本积累

Agent 不会自己停下来。不设停止条件的 Agent 就像没有 break 的 while 循环——可能一直转到账单爆掉或被平台限流打下来。Oracle 曾有一个真实案例:某网页爬虫 Agent 因目标网站改版,工具持续返回空数据,Agent prompt 写的是"重试直到拿到数据",结果足足跑了 400 轮、持续 5 分钟,撞到平台 rate limit 才被迫停下。

生产环境至少需要以下四种停止条件叠加使用:

  • 最大迭代次数:设个上限,比如 10 轮就停。哪怕任务没完成。
  • Token/成本预算:累计消耗超过阈值时强制终止。比如单次任务预算上限 5000 token。
  • 无进展检测:连续 N 轮没有产生新信息或有效进展,主动退出。通常设 3 轮。
  • 目标达成检查:每轮结束都检查任务是否完成。这应该是最先触发的条件,但必须和其他条件搭配,防止"判断错了继续干"。
成本积累是 Agent 里最容易被低估的问题。Single-pass 调用一次模型就结束。Agent Loop 每转一轮就是一次 LLM 调用。根据 Anthropic 的产品数据:Agent 的 token 消耗约为普通聊天的 4 倍,Multi-Agent 系统飙到 15 倍。

还有一个更隐蔽的风险——错误累积。单步 90% 准确听起来不错,但 10 步后总成功率掉到 35%,20 步只剩 12%。这是乘法不是加法。每多一步就多一次掉坑的机会。对策是加自检和验证步骤,把"执行"和"验证"拆给不同模型,把任务切短、设 checkpoint、容许人工接管。


8. Agent 循环和 for 循环的区别

初次接触的人最常问的问题:这跟我写个 for 循环调 API 有什么区别?区别在控制权。传统 for 循环里,每一步做什么是你的代码在编译时就决定了的。Agent Loop 里,每一步做什么是 LLM 在运行时决定的。

传统 for 循环:
for stock in stocks:
    price = get_price(stock)
    if price > threshold:
        notify(stock)


Agent Loop:
while not done:
    response = call_llm(messages)
    if response.has_tool_calls:
        # 调哪个工具、传什么参数 —— LLM 决定的
        results = execute_tools(response.tool_calls)
    else:
        done = True

关键差异在两条轴上。决策权:传统循环里开发者写死在代码里,Agent Loop 里 LLM 在运行时推理。面对新情况:传统循环得改代码加 if 分支,Agent Loop 模型自己适应,不用改代码。可预测性:传统循环强,同输入恒同输出;Agent Loop 弱,决策权交给概率模型。出错代价:传统循环 bug 你来 debug;Agent Loop 决策错了也是你买单。


9. 一个循环不够用的时候

大多数场景下一个循环就够了。但复杂任务催生了多循环架构。Magentic-One(Microsoft)采用双循环:外层循环做战略规划,内层循环做具体执行。内层卡住,外层可以推翻整个策略从头来。Claude Research(Anthropic)采用编排-工作者模式:一个主 Agent 做任务分配,多个子 Agent 并行执行不同子任务。

Agent 越多,循环越多,token 消耗往上飙,协调复杂度也大幅增加。多数团队的做法是先把单循环跑稳,确实不够再加。


10. 相邻概念

Agent 循环不是孤立机制。它建立在若干底层能力之上,你可以顺着这些方向深入:

  • AI Agent:Agent 循环的上层概念,理解 Agent 的四件套(大脑、工具、记忆、章法)。
  • 子代理:主 Agent 调用的子任务执行单元,实现任务分解和并行处理。
  • MCP 协议:模型上下文协议,标准化 AI 模型与外部工具和数据的连接方式。
  • 函数调用:让模型输出结构化函数调用参数的技术,Agent 调用工具的底层机制。
概念解析 · 人工智能ABC