AI 编程

概念解析——抽象语法树(AST)

抽象语法树(Abstract Syntax Tree,简称 AST)是源代码的树状结构表示。编译器拿到一段代码,不会直接处理文本——它先把文字变成树。这棵树把代码的语法结构抽象成节点和层次关系,去掉标点、括号、分号这些只在书写层面有用、对语义没有贡献的东西。此后几乎所有的代码分析和转换都在这棵树上做。


1. 为什么要把代码变成树

代码本质上是嵌套结构:一个 if 里面可以套另一个 if,一个函数调用里可以套表达式,表达式里可以套另一个函数调用。这种嵌套结构用文本线表示并不直观,但用树表示就天然合适——每个节点可以有任意多个子节点,父子关系就是包含关系。

看一行代码:let x = 1 + 2。人类读得懂,但计算机需要知道:"这是一个变量声明,名字是 x,初始值是一个加法表达式,加法的左边是 1,右边是 2。"把这些信息组织成树,每个语义单元成为一个节点,计算机就可以按节点类型做不同的处理。

树的好处是什么?要改代码的时候,不用做字符串替换——直接在树上找到对应节点,修改它,再把树变回代码。要做语法检查,只需遍历树的每个节点,看是否符合该节点类型的规则。

AST 把"代码文本"变成了"代码结构"。从此计算机面对的不再是一串字符,而是一棵可以遍历、查询、修改的树。

2. 解析树与抽象语法树的区别

解析树(Parse Tree,也叫 Concrete Syntax Tree)是语法分析器直接产出的树——它完整保留了源代码的全部细节,包括括号、分号、关键字每个 token 的位置。而抽象语法树(AST)是解析树的简化版,去掉了那些对后续处理没有帮助的语法细节。

举个例子。表达式 a + b * c 的解析树会包含每个运算符、每个操作数、以及体现优先级的分组结构。AST 同样包含这些信息,但省略了中间的分组符号——因为树结构本身就表达了优先级:* 节点在 + 节点的子层,已经说明了先算乘法。AST 只保留"做什么",不保留"怎么写"。

解析树 vs AST:
代码:if (x > 0) { return x; }
解析树包含:if 关键字 token、(、x、>、0、)、{、return、x、;、}
AST 包含:IfStatement → 条件(BinaryExpr: x > 0)→ 分支体(ReturnStatement: x)
括号、花括号、分号全被去掉了——树结构已经隐含了包含关系。

大部分编译器和代码分析工具都用 AST 而不是解析树,因为 AST 更轻量、更容易遍历和操作。解析树主要在教学和调试中使用。


3. AST 有哪些类型的节点

AST 的节点类型因语言而异,但所有编程语言的 AST 都共享一些通用的节点类别。理解这些类别是理解 AST 的第一步。

Statement

语句节点

语句是执行一个动作的完整单元。常见的 Statement 包括:IfStatement(条件分支)、ForStatement(循环)、ReturnStatement(返回)、VariableDeclaration(变量声明)。语句是树中较高层的节点,通常包含表达式作为子节点。

Expression

表达式节点

表达式是产生一个值的代码单元。BinaryExpression(二元运算,如 1 + 2)、CallExpression(函数调用)、MemberExpression(属性访问,如 obj.prop)都属于表达式。表达式可以嵌套——a + b * c 是一个 BinaryExpression,它的右操作数是另一个 BinaryExpression。

Identifier

标识符节点

变量名、函数名、类名——所有名字都是 Identifier。Identifier 是树的叶子节点之一,只携带一个 name 属性。在后续的语义分析阶段,编译器会把 Identifier 和它的定义关联起来(这叫"名称解析")。

Literal

字面量节点

代码中直接写出的值:数字(42)、字符串("hello")、布尔值(true)、null 等。Literal 也是叶子节点,携带值和类型信息。Literal 和 Identifier 构成了 AST 的最底层——所有高级运算最终都要落到具体的值和名称上。

一个完整的 AST 示例:
代码:const area = width * height;
顶层:VariableDeclaration(const)
  ├── declarator: VariableDeclarator
  │   ├── id: Identifier("area")
  │   └── init: BinaryExpression(*)
  │      ├── left: Identifier("width")
  │      └── right: Identifier("height")

4. AST 在编译器中的位置

经典编译器的流水线是这样的:

源代码 → 词法分析 → Token 序列 → 语法分析 → AST → 语义分析 → IR → 优化 → 代码生成

每个环节做的事情:

  • 词法分析(Lexer/Tokenizer):把原始字符串拆成 token,比如 let、x、=、1、+、2、; 各是一个 token。这步丢失了空白和注释。
  • 语法分析(Parser):根据语言的语法规则,把 token 序列组织成 AST。如果 token 序列不符合语法规则(比如少了一个右括号),Parser 在这里报语法错误。
  • 语义分析:在 AST 上做类型检查、名称绑定等工作。这步不改变树结构,只是在节点上附加信息。
  • 中间表示(IR):把 AST 转换成更低级、更接近机器的表示,做各种优化。
  • 代码生成:从 IR 生成目标代码(机器码、字节码或其他语言)。

AST 是整个管线的核心枢纽。编译器在前半段把文本变成树,在后半段把树变成更抽象的形式。如果 AST 设计得不好,后续所有环节都会跟着费劲。


5. AST 对 AI 编程模型为什么重要

大语言模型(LLM)写代码本质上是"根据上文预测下一个 token"——它看到的是文本,学的是文本统计规律。这让它非常灵活:能处理任何编程语言,能写注释,能跟自然语言混着写。但纯文本视角也有盲区。

LLM 看到的是代码的"字",AST 看到的是代码的"骨架"。前者灵活但可能犯低级语法错误,后者严谨但缺乏灵活性。

语法感知补全。纯 LLM 补全代码时可能在不该加分号的地方加分号,或者括号不匹配。如果模型能同时参考 AST,就知道当前光标处允许出现什么类型的节点——是表达式、语句还是声明——从而给出语法上合法的补全。

代码结构理解。LLM 读代码是线性的,从左到右。AST 提供了全局的结构信息——这段代码在哪个函数里?这个函数是哪个类的方法?有了 AST,AI 可以"看到"光标位置所在的作用域、可访问的变量和函数签名。

代码变换。重构(重命名变量、提取函数)在 AST 层面做极其可靠——你只需要定位到所有相关的 Identifier 节点,修改它们的 name 属性。如果纯用文本做,很容易误改注释里或字符串里的同名词。

静态分析。类型错误、未使用的变量、不可达代码——这些传统编译器的安全检查全部依赖 AST。把 AST 分析的结果喂给 LLM,可以帮助它规避一些常见的编程错误。


6. AST 分析 vs 语言模型方法

在 AI 编程工具里,AST 和语言模型不是谁替代谁的关系,而是互补。用一张表对比它们各自的擅长:

AST 方法
精确可靠,结果可解释
擅长语法检查、重构、格式化
只能处理编译时信息
跨语言需要各自实现 Parser

语言模型方法
灵活,能理解意图和语义
擅长翻译、改写、解释、生成文档
能处理自然语言和代码混合
一个模型覆盖多语言

当前最好的 AI 编程工具走的是混合路线:用语法分析器解析代码得到 AST,利用 AST 做精确的代码分析和上下文收集,再把 AST 信息作为提示词的一部分喂给语言模型,让模型在同一份数据上既看到"代码的骨架"又看到"代码的文字"。

例如 Copilot 的下一代模型在处理补全请求时,会同时发送当前文件的 token 序列和从 AST 中提取的信息(当前作用域的变量列表、函数签名、类型约束)。模型有了这两份输入,生成的代码质量明显高于只看文本的版本。


7. 多语言的 AST

每种语言都有自己的一套 AST 节点定义。JavaScript 的 AST 规范以 ESTree 最为通用——它定义了 VariableDeclaration、FunctionDeclaration、ArrowFunctionExpression 等百余种节点类型。Python 的 AST 标准库 ast 模块则定义了 Module、Expr、Call 等节点。

虽然节点名称不同,但几乎所有语言的 AST 都共享相似的结构骨架。通用的 AST 项目如 Tree-sitter 试图用一种统一的增量解析框架为上百种语言生成 AST,并且支持文件编辑时的增量更新——不需要每次重新解析整个文件。Tree-sitter 被 GitHub Copilot、Neovim、Zed 等编辑器广泛采用。

还有一类工具叫 AST 转换器,例如 Babel(处理 JavaScript 的 JSX、TypeScript 等方言转换)、Prettier(格式化)——它们本质上都是:源代码 → AST → 修改 AST → 生成新代码。前端开发每天用的打包工具(Webpack、Vite)也依赖 AST 来做代码分析和 Tree-shaking。

AST 是编程语言工具链的通用语言。无论你用什么语言写代码,编译器和编辑器都在靠 AST 理解你写的东西。

8. AST 在现代 AI 编程工具中的角色

以 GitHub Copilot 为例,它在实时补全时做了大量 AST 层面的工作:解析当前文件的 AST、计算出光标位置所在的上下文(函数参数、条件分支、循环体等)、提取当前作用域内可用的符号列表。这些信息被嵌入到发送给模型的提示词中,让模型在生成代码时"看得见"周围的代码结构。

Cursor、Windsurf 等新一代 AI 编辑器更进一步——它们不仅用 AST 做补全上下文,还在 Agent 模式中用 AST 来定位编辑目标。比如你对 AI 说"给所有函数加上日志",Agent 会先解析整个项目的 AST,找到所有函数定义节点,然后逐一插入打印语句。这种操作如果没有 AST,纯靠模型猜测文本位置,遇到同名函数必定出错。

此外,AST 还在 AI 代码评估中发挥作用。测试模型生成的代码是否通过编译——这本身就是 AST 分析(语法分析阶段的任务)。有些项目甚至用 AST 来评估代码相似度:两段代码即使变量名不同,如果 AST 结构一致,就认为是等价的。


9. 相邻概念

AST 是代码处理的基石。你可以顺着这些概念继续探索:

  • Token:AST 的输入——词法分析阶段从代码文本中切分出的最小单元,AST 建立在其之上。
  • 代码补全:AI 编程最基础的应用场景,AST 在其中提供结构感知的上下文。
  • FIM 中间填充:代码补全的训练和推理技术,与 AST 结合可提升生成准确率。
  • 大语言模型(LLM):驱动现代 AI 编程工具的核心引擎,与 AST 互补工作。
概念解析 · 人工智能ABC