AI 编程
概念解析——FIM 中间填充
FIM(Fill-in-the-Middle)是一种专门为代码补全设计的训练方法。普通语言模型从左到右逐字生成,但代码补全经常要在一段已有代码的"中间"插入新内容——比如补全一个 for 循环体,或者在一段 if 分支里插入新的条件。FIM 让模型学会这种"中间插入"的能力。
1. 从左到右的局限
标准语言模型(包括 GPT 系列)的生成方式是单向的因果解码:从头开始,每生成一个 token 只能看到它左边的上下文,不能看右边的。
这在写文章时没问题——文章本来就是从开头写到结尾。但写代码的场景更复杂。开发者经常把光标移到一段代码的中间位置,插入一个新函数、补全一个条件分支、或者把一段逻辑改写成异步形式。光标左右两边都有代码,传统单向模型只能看到左边的内容,看不到右边。
2. FIM 的核心思想:因果掩码的小把戏
FIM 的想法很巧妙:不需要改变 Transformer 的网络结构,只需要在训练时改变输入的排列方式,配合因果掩码(causal masking)就能实现"看到两边"。具体做法是把一条训练样本拆成三部分:
- 前缀(Prefix):光标前面的代码
- 中间块(Middle):要被模型预测的"补全内容"
- 后缀(Suffix):光标后面的代码
然后按 前缀 + 后缀 + 中间块 的顺序拼起来丢给模型训练。在因果掩码的作用下,前缀和后缀的信息都先于中间块出现,模型预测中间块时就能同时参考左右两边的上下文。
FIM 顺序:[前缀] [后缀] [中间块] ← 中间块能看到前缀和后缀
——预测中间块时,前缀和后缀的信息都已可用。
3. FIM 的三种变体
实践中 FIM 有三种主流的排列策略:
Prefix-Suffix-Middle
把编码后的 "[前缀] [后缀] [中间块]" 拼接起来训练。这是最基本的形式,简单直接。
Suffix-Prefix-Middle
把后缀放到前缀前面:"[后缀] [前缀] [中间块]" 。在一些实验中 SPM 的训练效率略高。StarCoder 系列模型采用了 SPM。
随机选择
训练时随机选择 PSM 或 SPM 排列。这种混合策略能让模型适应更多样的输入格式。DeepSeek-Coder 采用了这种方式。
4. 为什么 FIM 对代码补全至关重要
IDE 中的代码补全和聊天场景的文本生成有本质区别。聊天是连续对话,上下文在逻辑上单向流动。代码补全经常是"在已有的代码结构中填补空缺"——你写了一个函数签名,想补函数体;写了 if 条件,想补分支逻辑;写了 try,想补 catch。这些场景里,函数体/分支逻辑/catch 块的左右两边都有代码存在。
训练了 FIM 的模型能做出更准确的"中间补全":
- 补全时会看光标后面的代码(比如看函数返回值类型来指导实现),而不是只靠前方提示。
- 对缩进和括号结构的理解更完整——因为能看到前后结构。
- 在大段补全时,补全内容和周围代码的融合更自然。
5. 哪些模型用了 FIM
FIM 在 2022 年由 OpenAI 在 Codex 的论文中系统化提出(Efficient Training of Language Models to Fill in the Middle)。此后成为代码大模型的标准训练方法:
- Codex / GPT-3.5-turbo-instruct:最早大规模应用 FIM 的模型,支撑了 GitHub Copilot 的早期版本。
- StarCoder / StarCoder2:BigCode 项目开源,使用 SPM 变体(FIM rate=0.5,即 50% 的训练数据用 FIM 格式)。
- DeepSeek-Coder:使用 PSM+SPM 混合策略,FIM rate=0.5。在代码补全评测(HumanEval-X 等)上表现突出。
- CodeLlama:Meta 的代码专用模型,支持 FIM 格式的推理。
- Qwen2.5-Coder:使用了 FIM 训练。
6. FIM rate 与训练比例
不是所有训练数据都用 FIM 格式。通常会保留一定比例的标准从左到右格式。FIM rate 决定了训练数据中被重排成 FIM 格式的比例。常见取值:
- FIM rate = 0.5:一半数据用 FIM,一半用标准格式。StarCoder、DeepSeek-Coder 使用此设置。
- FIM rate = 1.0:全部数据用 FIM。理论上 FIM 格式也学会了从左到右(PSM 中前缀部分是左到右的),但实践中保留一些纯左到右数据稳定。
7. 相邻概念
FIM 是代码模型的核心训练技术之一,和其他几个概念紧密相关:
- 代码补全:FIM 的上层应用——IDE 中根据上下文自动补全代码的功能。
- 抽象语法树(AST):代码的树状结构表示。FIM 只看 token 序列,AST 看语法结构,两者互补。
- 大语言模型(LLM):FIM 是基于标准因果语言模型架构的改进训练方法。
- 训练数据集:FIM 训练需要在数据准备阶段做特殊处理(重排顺序、插入分隔符)。