🏠 总目录📚 本教程 10 · 多模态:视觉理解 ← →

大模型全景导论 / 10

要理解图片,还是生成另一种模态?

先选任务,再沿视觉编码→连接层→语言模型定位输入与图像token预算。

📑 本页目录(点开跳转)

10 · 多模态:视觉理解(VLM)

⏱ 20 分钟 | ⭐ 图片进模型之后变成什么,以及什么时候不该用 VLM


🎯 一句话

多模态模型把不同输入变成可计算的表示,再学习它们之间的关系。表示可以是连续向量或离散 token;编码器、融合方式与生成目标因架构而异。


🧭 先选你要做哪个模态

⚠️ 这三页互不依赖,直接跳到你要的那一页就行,不必顺着读。

你要做的东西 去哪一页 它讲什么
让模型看懂图片、截图、表格、文档 本页 VLM 三段式架构、图片怎么变 token、三个常见误判
想懂图文为什么能对齐、要自己训 VLM 10d · CLIP 与对比学习 InfoNCE、温度系数、LLaVA 两阶段训练
文生图、图生图、风格控制 10b · 图像生成 扩散模型:从噪声一步步擦出图像
语音识别、语音合成、语音对话 10c · 语音与视频 ASR / TTS / 端到端语音,以及视频的 token 爆炸问题
视频理解或视频生成 10c · 语音与视频 同上

🖼️ 一、视觉理解(VLM)

架构:三段式

图片 视觉编码器 (ViT) ViT:把图切成 16×16 的小块(patch), 每块当一个「词」,过 Transformer 一堆视觉向量 投影层 (Projector) ⭐ 关键:把视觉向量「翻译」成 语言模型能懂的 token 空间 语言模型 LLM 图像 token 图像 token … [用户] 这张图里有什么? ← 图像和文字被拼在一起!
三段式:图像被 ViT 切成 patch 编码 → 投影层把它「翻译」成语言模型能读的 token → 和文字拼进同一个上下文。

💡 核心洞察:图片被翻译成了「视觉单词」,和文字并排放进同一个上下文。 所以做文本应用时的那一整套(上下文管理、提示词、工具,本站《智能体工程教程》讲的就是这些)全部适用。

📌 这张图有名字:这套「ViT → 投影层 → LLM」可用 LLaVA 作为例子,不代表全部多模态架构。 另一条路线(BLIP-2 的 Q-Former)采用查询瓶颈,训练目标和冻结策略也有差异——两者的差别在 10d · CLIP 与对比学习 那一页。

⚠️ 实用推论:一张高分辨率图可能消耗 1000+ token。多图对话烧 token 极快——上下文预算意识(智能体第 4 章)在这里更重要。

💰 图片的 token 账(做视觉应用前先算这笔)

算一算

不缩放、不压缩且使用16像素patch时,patch数=(宽/16)×(高/16)

512×512 → 1,024 个patch(条件化算例)

1024×1024 → 4,096 个patch(条件化算例) ⭐ 翻倍分辨率 = 4 倍 token

实际视觉序列长度与计费还取决于缩放、切图、池化、查询压缩及服务规则

💡 所以主流做法是【先缩放到模型的最优分辨率】再传

先核对处理器规则,再比较分辨率、细节保留与费用

⚠️ VLM 的三个常见误判(知道了能省很多调试时间)

场景 表现 原因
密集小字 / 表格 读错数字、串行 分辨率被压缩后细节丢失 → 切图分块传 ⭐
需要精确空间关系 "左边第三个"经常说错 分辨率、位置表示、训练目标与数据均可能影响表现
需要计数 数量、遮挡与分辨率变化都需单独评测 和文本模型数字母是同类问题——给工具,别让它数

需要精确的场景(发票、表格、图纸),比较 OCR、VLM 与规则/人工复核组合,并逐字段核对原图;不能把组合本身当正确性保证。

🔗 和站内其他章的关系

左列有的来自日常用 LLM 的经验,有的在站内别的板块讲过——碰上过哪几条就从哪几条接进来,一条没碰过也不影响读这一章。

你可能已经知道的 这一章的对应
上下文预算(智能体第 4 章) 图像吃 token 极凶,预算意识更重要
向量检索 ANN(推荐第 10 章) CLIP 让图文进同一空间,同一套检索设施
LoRA(第 5 章) 图像生成里的风格 LoRA,同源技术
多模态 Embedding 做冷启动(推荐第 13 章) 就是用 CLIP/ViT 提取的特征
计算机使用(智能体第 9 章) 那是 VLM 的一个具体应用
双塔 + in-batch 负采样 + 温度系数(推荐第 8 章) ⭐ CLIP 的训练方式和它是同一个东西,连坑都一样
temperature 怎么改变分布(第 6 章) CLIP 的 τ 是同一个式子,只是用在 loss 上

想接着深挖,去这几处:

去哪 为什么
ML基础 12 视觉编码器的前身:卷积在看什么、与 ViT 的不同归纳偏置及适用条件
ML基础 14 ⭐ ViT 的关键一步:把图切成 patch 当 token —— 三段式架构的中间那段
推荐算法 08 可借双塔理解图文对比学习的骨架;实际还需图文编码器、配对数据、预处理、双向损失及假负例检查。
推荐算法 10 CLIP 对齐出来的图文向量,最终要落进向量库才有用
06c · 解码参数怎么调 二者都缩放分数,但 CLIP 的 τ 用在训练损失,采样温度用在生成分布,数值不能直接照搬。
扩散模型(整套 11 页) ⭐ 图像生成那一支的深挖:从加噪去噪一路到 ControlNet 和 FID 的坑。本页的 10b 是索引,那一套是它点名要外找的正文

✅ 检查点

  1. VLM 的三段式架构是什么?投影层的作用?
  2. 图片在语言模型看来是什么?分辨率翻倍,token 变几倍?
  3. VLM 的三个常见误判是什么?需要精确读取时该怎么做?
👀 答案
  1. 视觉编码器(ViT,把图切 patch 当词)→ 投影层 → 语言模型。投影层把视觉向量翻译成 LLM 能理解的 token 空间。
  2. 在本页 LLaVA 式例子中,连续视觉向量投影后接入上下文,不是文字词表 ID。仅在固定 patch、无缩放/压缩的算例里,宽高各翻倍使 patch 数变为 4 倍;实际输入长度与费用看处理器。
  3. ①密集小字/表格读错(分辨率压缩后细节丢失 → 切图分块传)②精确空间关系说不准(分辨率、表示与训练目标等共同影响)③计数数量、遮挡与分辨率变化都需单独评测。需要精确时用 OCR + VLM 组合——VLM 擅长“理解图在说什么”,不擅长“精确读出每个数”。

本节回顾

到这里你有了评估视觉应用输入与风险的概念入口:知道图片进去变成什么、要花多少 token、以及什么时候不该用 VLM(精确读数交给 OCR)。

⚠️ 什么时候看下一页:你想知道「图片和文字为什么能进同一个向量空间」,或者要自己训 / 微调一个 VLM。那是原理层,做应用不必先看。

⚡ 走神救援

先记住这几件事

  • 视觉输入需要经过编码与对接,才能参与语言模型的上下文。
  • 识别大意与精确读数是不同任务,小字、计数和空间关系要单独验证。
  • 从图像、语音或视频的真实需求分路,并把分辨率、时长与成本一起评估。

下一节 👉 10d-CLIP与对比学习.md

原始资料:ViT · LLaVA · BLIP-2(核对:2026-10-18;外链仅供追溯,正文可离线阅读)。

打卡记录保存在你的浏览器里,首页能看到总进度