2.1 视觉编码器（Vision Encoder）—— 把“像素”变成“特征”

2.2 连接器（Connector/Projector）—— 架起视觉与语言的桥梁

2.3 大语言模型（LLM）—— VLM的“推理大脑”

LLM是VLM的推理核心，负责接收融合后的图文向量序列，自回归地生成文本输出。常用的基座包括Qwen、Llama、Mistral等。

VLM的推理分为两个阶段：

• Prefill（预填充）阶段：图像通过视觉编码器提取特征，经连接器投影后，与文本词向量拼接成统一序列。模型一次性计算整个序列的Key-Value Cache（KV Cache），存储上下文信息。这个阶段计算密集，但只执行一次。
• Decode（解码）阶段：基于KV Cache，模型以自回归方式逐个生成输出Token，每生成一个Token就更新一次KV Cache。

3.1 阶段一：预训练（Pre-training）—— 学习“看图说话”

预训练阶段的核心目标是对齐视觉与语言模态——让模型理解图像内容与文本描述之间的对应关系。

• 数据：大规模（数百万到数十亿）的图像-文本对，通常是弱关联的网络数据
• 训练方式：通常冻结视觉编码器和LLM，只训练连接器
• 损失函数：自回归语言建模损失——给定图像和部分文本，预测下一个token

这个阶段让模型学会“图像里的内容对应什么文字描述”，建立起跨模态的基础对应关系。

3.2 阶段二：指令微调（Instruction Tuning）—— 学会“按指令办事”

预训练完成后，模型能理解图像-文本对应关系，但还不会遵循人类的指令回答问题。指令微调解决这个问题。

• 数据：高质量的多模态指令数据，如VQA问答对、多轮对话数据等
• 训练方式：端到端微调（或部分参数微调）
• 目标：让模型能够根据用户的指令，基于图像内容完成特定任务

经过指令微调后，VLM才能真正像ChatGPT那样与用户进行自然的多模态对话。

第一代：双塔架构 + 可学习连接器（Era 1）

设计思路：冻结的视觉编码器 + 冻结的语言模型 + 可学习的连接器

代表模型：CLIP、BLIP、Flamingo

特点：视觉和语言独立编码，通过连接器桥接。简单有效，但模态融合不够深入。

第二代：LLM为中心 + 视觉适配器（Era 2）

设计思路：预训练的LLM作为主干，视觉作为“适配器”接入

代表模型：LLaVA、Qwen2.5-VL、GPT-4V

特点：LLM承担所有推理任务，MLP/Resampler将视觉token投影到LLM的词向量空间。这是目前最主流的架构范式。

第三代：原生多模态（Era 3）—— 分叉为两条路线

设计思路：彻底抛弃“桥接”概念，从头训练单一Transformer处理混合模态数据

Era 3a — 原生多模态输入 → 文本输出：图像、视频、音频与文本共享统一的tokenizer/嵌入空间，通过单一Transformer处理，但输出仍然是自回归文本。代表模型：Qwen3.5/Gemma 4/Gemini 3/GPT-5.4。

Era 3b — 全模态统一输入输出：在融合主干之上增加专门的图像解码器（VAE/MMDiT）和音频解码器，模型可以原生输出文本、图像和语音。代表模型：BAGEL、Qwen3.5-Omni、Emu3。

5.1 Interleaved-MRoPE —— 让模型“看懂”空间与时间

解决的问题：传统RoPE（旋转位置编码）主要针对一维文本序列设计，而图像是二维的（宽×高），视频更是三维的（宽×高×时间）。直接用文本位置编码处理图像，模型无法准确感知物体的空间位置和视频中的时序关系。

Qwen3-VL的方案：Interleaved-MRoPE（多模态旋转位置编码）将位置信息拆解为时间、宽度、高度三个独立维度，通过鲁棒的位置嵌入实现全频段分配。这意味着模型可以同时捕捉：

• 空间关系：物体A在物体B的左边还是右边？上方还是下方？
• 时序关系：视频中事件发生的先后顺序和持续时间

这显著增强了模型在长视频推理中的表现。

5.2 DeepStack集成 —— 让视觉特征“层层递进”

解决的问题：标准的ViT视觉编码器有多层Transformer，不同层捕捉不同粒度的视觉信息——浅层关注边缘、纹理等低级特征，深层关注物体、场景等高级语义。传统做法通常只取最后一层的输出，浪费了浅层的有用信息。

Qwen3-VL的方案：DeepStack集成方案有效利用多层ViT特征进行融合。通过将不同层级的视觉特征以堆叠方式整合，模型能够同时获得细粒度的局部细节（来自浅层）和全局语义（来自深层），从而收紧视觉与语言之间的对齐。

形象理解：传统方法只看“结论”（最后一层），而DeepStack让模型既看“论据”（浅层细节）又看“结论”（深层语义），理解自然更全面、更准确。

5.3 文本化时间戳对齐 —— 让视频理解“精确到秒”

解决的问题：视频理解的关键挑战之一是时间定位——模型需要知道某个事件发生在视频的哪一帧、持续了多久。早期方案T-RoPE通过旋转位置编码隐式编码时间信息，但精度有限。

Qwen3-VL的方案：从T-RoPE演进为显式的文本化时间戳对齐。模型不再隐式地“感受”时间，而是将时间信息显式地转化为文本形式的时间戳与视觉内容对齐。

举例：当模型处理一段“一个人在3分15秒开始跑步”的视频时，文本化时间戳对齐让模型能够精确地将“3分15秒”这个时间点与对应的视频帧建立关联，实现更精确的时序定位。

5.4 其他关键特性

• 模型系列：提供稠密（2B/4B/8B/32B）和MoE（30B-A3B/235B-A22B）两种架构
• 超长上下文：原生支持256K tokens（可扩展至1M），能处理数小时视频或整本书籍
• 纯文本能力：在多模态训练后，纯文本理解能力超越了许多同规模纯文本模型