10 · 多模态:视觉理解(VLM)
⏱ 20 分钟 | ⭐ 图片进模型之后变成什么,以及什么时候不该用 VLM
🎯 一句话
多模态模型把不同输入变成可计算的表示,再学习它们之间的关系。表示可以是连续向量或离散 token;编码器、融合方式与生成目标因架构而异。
🧭 先选你要做哪个模态
⚠️ 这三页互不依赖,直接跳到你要的那一页就行,不必顺着读。
| 你要做的东西 | 去哪一页 | 它讲什么 |
|---|---|---|
| 让模型看懂图片、截图、表格、文档 | 本页 | VLM 三段式架构、图片怎么变 token、三个常见误判 |
| 想懂图文为什么能对齐、要自己训 VLM | 10d · CLIP 与对比学习 | InfoNCE、温度系数、LLaVA 两阶段训练 |
| 文生图、图生图、风格控制 | 10b · 图像生成 | 扩散模型:从噪声一步步擦出图像 |
| 语音识别、语音合成、语音对话 | 10c · 语音与视频 | ASR / TTS / 端到端语音,以及视频的 token 爆炸问题 |
| 视频理解或视频生成 | 10c · 语音与视频 | 同上 |
🖼️ 一、视觉理解(VLM)
架构:三段式
💡 核心洞察:图片被翻译成了「视觉单词」,和文字并排放进同一个上下文。 所以做文本应用时的那一整套(上下文管理、提示词、工具,本站《智能体工程教程》讲的就是这些)全部适用。
📌 这张图有名字:这套「ViT → 投影层 → LLM」可用 LLaVA 作为例子,不代表全部多模态架构。 另一条路线(BLIP-2 的 Q-Former)采用查询瓶颈,训练目标和冻结策略也有差异——两者的差别在 10d · CLIP 与对比学习 那一页。
⚠️ 实用推论:一张高分辨率图可能消耗 1000+ token。多图对话烧 token 极快——上下文预算意识(智能体第 4 章)在这里更重要。
💰 图片的 token 账(做视觉应用前先算这笔)
算一算
不缩放、不压缩且使用16像素patch时,patch数=(宽/16)×(高/16)
512×512 → 1,024 个patch(条件化算例)
1024×1024 → 4,096 个patch(条件化算例) ⭐ 翻倍分辨率 = 4 倍 token
实际视觉序列长度与计费还取决于缩放、切图、池化、查询压缩及服务规则
💡 所以主流做法是【先缩放到模型的最优分辨率】再传
先核对处理器规则,再比较分辨率、细节保留与费用
⚠️ VLM 的三个常见误判(知道了能省很多调试时间)
| 场景 | 表现 | 原因 |
|---|---|---|
| 密集小字 / 表格 | 读错数字、串行 | 分辨率被压缩后细节丢失 → 切图分块传 ⭐ |
| 需要精确空间关系 | "左边第三个"经常说错 | 分辨率、位置表示、训练目标与数据均可能影响表现 |
| 需要计数 | 数量、遮挡与分辨率变化都需单独评测 | 和文本模型数字母是同类问题——给工具,别让它数 |
需要精确的场景(发票、表格、图纸),比较 OCR、VLM 与规则/人工复核组合,并逐字段核对原图;不能把组合本身当正确性保证。
🔗 和站内其他章的关系
左列有的来自日常用 LLM 的经验,有的在站内别的板块讲过——碰上过哪几条就从哪几条接进来,一条没碰过也不影响读这一章。
| 你可能已经知道的 | 这一章的对应 |
|---|---|
| 上下文预算(智能体第 4 章) | 图像吃 token 极凶,预算意识更重要 |
| 向量检索 ANN(推荐第 10 章) | CLIP 让图文进同一空间,同一套检索设施 |
| LoRA(第 5 章) | 图像生成里的风格 LoRA,同源技术 |
| 多模态 Embedding 做冷启动(推荐第 13 章) | 就是用 CLIP/ViT 提取的特征 |
| 计算机使用(智能体第 9 章) | 那是 VLM 的一个具体应用 |
| 双塔 + in-batch 负采样 + 温度系数(推荐第 8 章) | ⭐ CLIP 的训练方式和它是同一个东西,连坑都一样 |
temperature 怎么改变分布(第 6 章) |
CLIP 的 τ 是同一个式子,只是用在 loss 上 |
想接着深挖,去这几处:
| 去哪 | 为什么 |
|---|---|
| ML基础 12 | 视觉编码器的前身:卷积在看什么、与 ViT 的不同归纳偏置及适用条件 |
| ML基础 14 | ⭐ ViT 的关键一步:把图切成 patch 当 token —— 三段式架构的中间那段 |
| 推荐算法 08 | 可借双塔理解图文对比学习的骨架;实际还需图文编码器、配对数据、预处理、双向损失及假负例检查。 |
| 推荐算法 10 | CLIP 对齐出来的图文向量,最终要落进向量库才有用 |
| 06c · 解码参数怎么调 | 二者都缩放分数,但 CLIP 的 τ 用在训练损失,采样温度用在生成分布,数值不能直接照搬。 |
| 扩散模型(整套 11 页) | ⭐ 图像生成那一支的深挖:从加噪去噪一路到 ControlNet 和 FID 的坑。本页的 10b 是索引,那一套是它点名要外找的正文 |
✅ 检查点
- VLM 的三段式架构是什么?投影层的作用?
- 图片在语言模型看来是什么?分辨率翻倍,token 变几倍?
- VLM 的三个常见误判是什么?需要精确读取时该怎么做?
👀 答案
- 视觉编码器(ViT,把图切 patch 当词)→ 投影层 → 语言模型。投影层把视觉向量翻译成 LLM 能理解的 token 空间。
- 在本页 LLaVA 式例子中,连续视觉向量投影后接入上下文,不是文字词表 ID。仅在固定 patch、无缩放/压缩的算例里,宽高各翻倍使 patch 数变为 4 倍;实际输入长度与费用看处理器。
- ①密集小字/表格读错(分辨率压缩后细节丢失 → 切图分块传)②精确空间关系说不准(分辨率、表示与训练目标等共同影响)③计数数量、遮挡与分辨率变化都需单独评测。需要精确时用 OCR + VLM 组合——VLM 擅长“理解图在说什么”,不擅长“精确读出每个数”。
本节回顾
到这里你有了评估视觉应用输入与风险的概念入口:知道图片进去变成什么、要花多少 token、以及什么时候不该用 VLM(精确读数交给 OCR)。
⚠️ 什么时候看下一页:你想知道「图片和文字为什么能进同一个向量空间」,或者要自己训 / 微调一个 VLM。那是原理层,做应用不必先看。
⚡ 走神救援
先记住这几件事
- 视觉输入需要经过编码与对接,才能参与语言模型的上下文。
- 识别大意与精确读数是不同任务,小字、计数和空间关系要单独验证。
- 从图像、语音或视频的真实需求分路,并把分辨率、时长与成本一起评估。
下一节 👉 10d-CLIP与对比学习.md