基础概念

概念解析——模态编码

模态编码(Modality Encoding)是让计算机处理图片、声音、视频的第一步——把原始信号转换成模型能计算的数值表示。一张图片在模型眼里不是"一只猫",而是一串描述颜色和位置的数字;一段录音不是"你好",而是一组随时间变化的幅度值。编码器(Encoder)负责完成这道转换,它直接决定了模型从输入中看到什么、漏掉什么。


1. 文字编码:分词 + 嵌入

文字是模型最早能处理的模态,处理流程也最成熟。第一步是分词(Tokenization),把一段话切成模型词表里有的小块。中文可以按词切,"模态编码"切成"模态"和"编码"两个 token;也可以按字切,得到四个 token。具体怎么分取决于分词器的词表和算法。

第二步是嵌入(Embedding),把每个 token 的编号映射成一个固定长度的向量——通常是 768 维、1024 维或更高。语义相近的词,向量在空间里也靠得近。"猫"和"狗"的向量距离,比"猫"和"汽车"近得多。嵌入层是整个模型唯一从头学起的部分,其他层都在它产出的向量上做计算。

文字编码的优点是稳定、成熟。缺点是损失了语气、表情、停顿这些副语言信息——同一句"你真行",写在表扬信里和翻个白眼说出来,编码结果一模一样。


2. 图片编码:切成小块再压缩

图片比文字复杂。一张 224×224 的彩色图有 224×224×3 ≈ 15 万个数字。直接用这么多数字做输入,计算量太大,而且单个像素携带的信息太少——只看一个像素点,你完全不知道整张图是什么。

ViT(Vision Transformer,2020)的做法是把图片切成固定大小的方块(Patch),每块 16×16 像素。一张 224×224 的图得到 14×14 = 196 块。每块展平后经过一个线性映射(Projection),变成和文字 embedding 同样长度的向量。再加上位置编码(Position Embedding),告诉模型每个小块原来在图片的什么位置。

编码层数越深,每个 patch 向量里包含的就不再只是自己那块的像素值。前几层只关注边缘和纹理,后几层的感受野越来越大,单个向量可能"看到"整个物体。这种层级抽象和文字编码的原理如出一辙。


3. 声音编码:时间切片 + 频谱

声音是一维信号,随时间起伏。常见做法是先开一个短时间窗口(比如 25 毫秒),把这一小段声音转成频谱(Spectrogram)——横轴是频率,纵轴是该频率的能量强度。这样每段声音就变成了一小张二维图。

然后可以用卷积网络或 Transformer 处理这些频谱片段,每个片段对应一个输出向量。另一种路线(如 wav2vec 2.0)直接用卷积网络处理原始声波,不做显式的频谱转换,让模型自己学会提取有用的特征。

不管哪条路线,最终产出都是按时间排列的一串向量——每一帧对应几十毫秒的声音内容。模型后续的层就在这些向量上识别音素、单词、说话人身份。


4. 视频编码:帧采样 + 时空

视频 = 连续的图片帧 + 帧之间的运动。处理方式和图片编码很像,但多了一个维度:时间。

最简单的做法是均匀采样(比如每秒取 8 帧),每帧用 ViT 的方式切成 patch 编码。然后加上时间位置编码(Temporal Position Embedding),告诉模型这一帧在时间轴上的顺序。还有一种做法是 3D 卷积——同时在一小块空间和时间范围内提取特征,一次处理多帧。

视频编码的难点在于计算量。一秒钟 24 帧,每帧切成 196 个 patch,一秒就是几千个 token。大多数系统会大幅降低帧率,或者只对关键帧做高分辨率编码、对中间帧做低分辨率补偿。

编码器的设计决定了模型从输入中看到什么。切块大小、帧率高低、频谱分辨率——这些看似工程的选择,最终影响着模型能理解什么、忽略什么。

5. 拉齐空间:编码之后的事

不同模态的编码器各自产出向量,但它们的"语义"不在同一个空间里。图片编码器输出的向量说的是"颜色和形状",文字编码器输出的向量说的是"词义和语法"。怎么让它们互相对话?

CLIP(2021)的做法是双塔结构:图片和文字各走各的编码器,然后用对比学习拉近匹配的图文对、推远不匹配的。训练之后,"一张狗的照片"的文字向量和一张狗的照片的图片向量在空间里距离很近。这是跨模态对齐的基本框架。

问题在于对比学习只能拉近整体语义。细粒度的对应关系——"图片里哪块对应'狗'这个词"——往往丢失了。改进方向包括引入交叉注意力、细粒度对齐损失函数,以及下文要讲的统一编码器方案。


6. 2026 趋势:统一多模态编码器

2024 到 2026 年,一个明显趋势是把多个模态的编码器合并成一个。方案大致分两类。

第一类是"一个 Transformer 吃所有模态"。不管输入是文字、图片、声音还是视频,统一切成 token 序列,塞进同一个 Transformer。模态之间的区别通过特殊的 token 前缀或位置编码来标记。ImageBind(Meta, 2023)走得更远——不需要所有模态配对出现,只要有一条"绑定链"(图像-声音、图像-文字、图像-深度……),就能把六种模态嵌入同一个空间。

第二类是在编码器输出端加一个"对齐模块"。不同模态仍然走各自的编码器,但后面接一个共享的隐空间或 Q-Former 来做交叉注意力,把不同模态的输出拉到同一个表示空间。BLIP-2、LLaVA 等模型走的就是这条路。

一个例子:输入一张"秋田犬在雪地里跑"的照片 + 一段狗叫声录音 + 文字提示"描述这个场景"。统一编码器把图片 patch、音频帧、文字 token 全部编码成等长向量,塞进同一个 Transformer。模型需要同时理解:图片里是狗,声音里是狗叫,文字要求用中文描述。三类信息在同一个表示空间里互相对照,才有可能生成准确的回答。

7. 相邻概念

模态编码是多模态 AI 的起点。你接下来可以顺着这些概念深入:

  • 多模态(Multimodality):模型同时处理图、文、音等多种输入和输出。
  • 嵌入(Embedding):把离散符号映射成连续向量的通用技术,模态编码的数学底座。
  • Token:编码的最小单元,可以是词、子词、图像 patch 或音频帧。
  • 表示空间(Representation Space):向量在空间中的位置和方向承载着语义信息。
  • 注意力机制(Attention):编码后的向量怎样在 Transformer 里互相参考、交换信息。

参考资料
  1. Dosovitskiy et al. "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale." arXiv:2010.11929, 2020.
  2. Baevski et al. "wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations." arXiv:2006.11477, 2020.
  3. Radford et al. "Learning Transferable Visual Models From Natural Language Supervision." CLIP, ICML 2021.
  4. Girdhar et al. "ImageBind: One Embedding Space To Bind Them All." Meta AI, 2023.
  5. Li et al. "BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models." 2023.
  6. Liu et al. "Visual Instruction Tuning." LLaVA, NeurIPS 2023.
概念解析 · 人工智能ABC