基础概念

概念解析——多模态

多模态(Multimodality)要解决的问题很直观:让同一个模型既能看文字、又能看图、又能听声音,还能用各种方式回答你。以前的模型各管各的——做翻译的只懂文字,做识图的只看图片。多模态把这堵墙拆了。


1. 什么是多模态

"模态"(Modality)指的是信息的存在形式:文字是文本模态,照片是图像模态,录音是音频模态,视频是以上几种的叠加。多模态 = 一个模型同时处理多种模态的输入和输出。

早些年图像、语音、文字各有各的模型,一个模型只会一件事。你的手机相册里有人脸识别(图像模型),语音助手听写用的是单独的语音模型,搜索引擎处理文字用的是 NLP 模型——它们各自独立,互相不交流。

多模态把这一切统一了。你拍一张照片发给多模态模型,它能看到图里的内容、读懂图上的文字、理解场景的上下文,然后用自然语言回答你。

多模态的核心转变:从"一个模型一件事"变成"一个模型什么事都能做一点"。这一点已经改变了人机交互的方式。

2. 不同模态怎么变成 token

要让模型处理不同模态的信息,第一步是把它们统一成同一种数字格式——token。模型只认识 token,不管你进来的是字、图还是声音。

文字

BPE 分词

文字先被切分成 token。中文大约 1 个字 ≈ 1.5 个 token。常见词当一个 token 处理,生僻词退到更细的颗粒度。GPT 系列用 BPE 算法从字符开始逐步合并最频繁出现的相邻单元。

图像

ViT 图片分块

图像被切成固定大小的方块(patch)。ViT(Vision Transformer)把一张 224×224 的图切成 16×16 的小块,每块变成一个 token——总共 196 个 token。如果用它看一张 336×336 的高清图,token 数就变成 576 个。一张照片就是 196 个数字。

音频

音频帧编码

音频信号先经过编码器变成帧级别的表示。GPT-4o 的风格大约每秒音频产生 25 个 token。一段 1 分钟的录音大约 1500 个 token。

视频

抽帧 + 分块

视频的处理开销最大。老办法每秒抽 1 帧、每帧再切 196 个 token——30 秒视频就要 5880 token。Gemini 2.5 的原生多模态压缩能做到 1 分钟视频只编 1024 token,差了近 11 倍。

算一笔账:一段 30 秒语音(750 token)+ 一张图(196 token)+ 一段 50 字的文字(75 token)= 总共大约 1021 token。一张高清图(576 token)比一段 30 秒的语音还"贵"。

3. 三种融合做法

既然图能切成 token,那图和字怎么"对上"?过去五年大致有三种接法。

第一种

双塔对比 · CLIP(2021)

OpenAI 提出 CLIP,让图和字各走各的编码器——图用 ViT,字用 Text Transformer——最后算两边向量有多像,夹角越小越匹配。这种方法只能判断"图文是否匹配",不会看图说话、不会回答。但它训完就能零样本分类,所有现代多模态模型的图像编码器都从这一脉来。

第二种

后融合 · LLaVA(2023)

视觉先编成 token,再用一小层网络(Projector,一般就 2 层 MLP)翻译成 LLM 能读的向量,跟文字 token 拼在一起喂给大模型。商用看图问答——包括 ChatGPT 网页传图——大多走这条路。好处是复用现成的 CLIP 视觉和现成的 LLM,只训中间那层 Projector,训练成本很低。

第三种

原生多模态 · GPT-4o / Gemini(2024–2026)

从一开始就把所有模态当 token 烧进同一个模型。图被 VQ-GAN 编码成 codebook ID,跟 BPE 共享同一个词表。文本 token、图像 token、音频 token 拌在一起变成 interleaved 序列,一个 Transformer 从头训练,预测下一个 token 可能是字、可能是图块、可能是声音帧。这种做法的跨模态推理最流畅,但训练成本极其昂贵。

后融合是 2024–2026 最主流的商用路线:冻住视觉编码器 + 一小层翻译网络 + 文字 LLM。原生多模态代表了未来方向,但成本还太高。

4. Any-to-Any:要啥进、要啥出

4 种模态进 × 4 种模态出 = 16 种组合。2026 年差不多一半成熟、一半还在卷、剩下几格还属于罕见。

成熟的组合:文进文出(所有 LLM 的本职工作)、文生图(Imagen、FLUX、Midjourney)、图生文(看图说话,VLM 标配)、音转文(ASR 听写)。

正在卷的组合:文生视频(Veo、Kling、Runway)、图改图(编辑修复风格迁移)、视频理解总结。

还罕见的组合:听一段声音直接画图、视频生成音频——这些路径 2026 年基本只在研究 demo 里。

现实场景:你拍一张菜单照片发给多模态模型 → 模型识别图片上的文字(图 in)→ 翻译成中文(文 out)→ 读出翻译结果(音 out)。这是三种模态穿在一起的典型用例。

5. 2026 年主流选手

到 2026 年中,主流大模型一半已经原生多模态,另一半还在拼接外接模型。

Gemini 2.5 Pro(Google):走最齐的路线——文/图/视频/音 4 路全原生。2M token 上下文,能同时理解视频和音频,不用先转文字。截至 2026 年,Gemini 是在多模态能力上覆盖最广的旗舰模型。

GPT-5.5(OpenAI):文+图输入是原生能力。视频要走帧抽取 pipeline,音频和图像输出走独立模型拼接。GPT 的优势在纯文本和代码任务上仍领先。

Claude Opus 4.7(Anthropic):只吃文+图。视频和音频要外接工具。多模态路径上走得最窄——但纯文本、代码、长文档理解能力依然是强项。

Qwen3-VL 235B(阿里):原生 256K 上下文,能处理小时级视频理解。开源 MoE 架构,MMMU 上跟 Gemini-2.5-Pro 一档。是开源阵营里多模态能力最强的。

Llama 4 Maverick(Meta):用 early fusion 训出来的开源模型。17B 活跃参数 / 400B 总参数(MoE)。图像输入没问题,视频和音频输出还没开放。

SoTA 平均分高不代表你的工作流能用。选模型先看自己需要什么模态进、什么模态出、上下文要多长——按这三个轴挑,不要看榜单。


6. 相邻概念

多模态不是一个孤立概念。你接下来可以顺着这些方向深入:

  • 模态编码:图片和声音怎样被切片,再变成模型能接收的数字——多模态处理的第一步。
  • 嵌入(Embedding):把 token 变成向量的技术,所有模态的数字基座。
  • Token:模型处理的最小单元,分词环节的直接产出。
  • 大语言模型(LLM):多模态融合的大模型基座,目前绝大部分多模态系统都围绕 LLM 搭建。
  • 注意力机制:让模型在生成时学会"看哪里"——在多模态中,它决定模型回答时该看图还是看字。
概念解析 · 人工智能ABC