10d · CLIP 与对比学习
⏱ 26 分钟 | ⭐ 和推荐系统的双塔召回是同一套东西
🎯 一句话
CLIP 训出来的不是一个分类器,是一个图片和文字共享的向量空间 —— 于是可以用文字搜图、图搜图、零样本分类,还能直接复用向量检索那套基础设施。 ⭐ 而它的训练方式,和推荐系统的双塔召回是同一套东西,也需注意采样与假负例。
⚠️ 这一页是原理层。只做视觉应用的话,上一页就够用了。
CLIP:图文对齐的地基
结果对照
🔗 这就是推荐算法第 10 章向量检索的多模态版本——同一套 ANN 基础设施。
训练目标 InfoNCE:说白了是一道 batch 内的多选题
拿一个 batch 的 N 对(图片,描述)。把 N 张图和 N 段文字各自编码、L2 归一化,得到一个 N×N 的相似度矩阵,然后要求对角线最大:
$$\mathcal{L} = -\frac{1}{N}\sum_{i=1}^{N} \log \frac{\exp(\text{sim}(I_i, T_i)/\tau)}{\sum_{j=1}^{N} \exp(\text{sim}(I_i, T_j)/\tau)}$$
💡 人话:对角线是正确答案,同一个 batch 里其他所有文字都是干扰项。 这个式子就是"N 选 1 选对"的交叉熵;训练时图找文、文找图各算一次取平均(所以是对称的)。
⭐ 关键在于负样本来自同批数据,但可能包含语义相关的假负例:不用专门去采负样本——同一批次里别人的正样本,就是我的负样本(in-batch 负采样)。这是对比学习最省事的地方,也正是它对 batch size 极度敏感的原因。
温度系数 τ 到底在干什么
$\tau$ 就是第 6 章解码策略里那个 temperature,只不过用在了训练的 loss 上:
| τ | 分布 | 后果 |
|---|---|---|
| 小(如 0.01) | 尖锐 | 更强调高相似度候选并改变梯度尺度;对错标和优化配置的敏感性需测量。 |
| 大(如 0.5) | 平坦 | 权重更平坦,但有限温度不代表完全等权,也不保证训练稳定或表示坍塌 |
⭐ CLIP 的做法是学习分数缩放参数 logit_scale = log(1/τ)(原论文限制的是 exp(logit_scale) 不超过 100;具体实现需核对)——它重要到值得让模型自己学。
为什么 batch size 对对比学习特别重要
结果对照
⚠️ SigLIP 就是冲着这一条来的:它把 softmax 对比损失换成逐对的 sigmoid 二分类损失——每一对图文自己判断"配不配",不再需要对整行做归一化。于是不必凑齐全局负样本,小 batch 也能训、多卡通信也省了。现在很多新模型的视觉编码器用的是 SigLIP 而不是 CLIP。
⭐ 一条跨板块的连线(这一章最值钱的一句)
CLIP 的训练方式,和推荐系统的双塔召回使用相同的缩放数学形式,但作用阶段不同。
CLIP 推荐算法的双塔 图片编码器 / 文本编码器 用户塔 / 物品塔 in-batch 负采样(别人的正样本当我的负样本) 可类比,但具体损失与采样分布需核对 温度系数 τ 可类比,但具体损失与采样分布需核对(那边建议从 0.05 开始调) 图文进同一空间 → 用文字搜图 用户物品进同一空间 → ANN 召回 连坑都一样:热门样本会被过度当成负样本(推荐那边用 LogQ 校正 修)、负样本选错会训废、batch 增大并非总有收益,仍需检查假负例、数据和资源。
🔗 推荐算法第 8 章有一段可跑的「双塔 + In-batch 负采样」代码—— 把"用户"换成"图片"、"物品"换成"文字",可帮助理解训练骨架;实际还需图文编码器、预处理、归一化和双向目标。 想动手复现对比学习,去那一节抄。
🔌 LLaVA vs Q-Former:投影层的两条路线
三段式里中间那一层有两种主流实现,差别在于视觉 token 有没有被压过:
| 路线 | 代表 | 投影层是什么 | 视觉 token 数 | 取舍 |
|---|---|---|---|---|
| 直接投影 | LLaVA | 一个 MLP(最早的版本就是一层线性) | 等于 ViT 的 patch 数(几百个) | ✅ 结构简单,通常保留较多视觉位置;不保证细节无损 ❌ 吃 token |
| 查询压缩 | BLIP-2 的 Q-Former | 一个小 Transformer,带一组可学习的 query 向量,用交叉注意力去"问"视觉特征 | 等于 query 个数(比如固定 32 个) | ✅ token 少、多图/长上下文友好 ❌ 结构复杂、压缩可能形成信息瓶颈,细节表现需测量(例如可单测 OCR 和小字场景) |
原始 LLaVA 的两阶段训练示例(不是所有 VLM 的统一配方):
操作步骤
直接投影与查询压缩各有取舍,不能用“赢家”概括。池化可能减少视觉位置;高分辨率切图通常增加输入位置以保留细节。训练耗时与效果依模型、数据及硬件而变。
🔗 想再深一层,去哪一套
| 去哪 | 为什么 |
|---|---|
| 推荐算法 08 · 深度学习推荐模型 | ⭐⭐ 这一页最值钱的一条连线:CLIP 与双塔召回共享表示匹配的思路 —— 图文编码器 ↔ 用户塔/物品塔、in-batch 负采样、温度系数 τ(那边从 0.05 开始调),也需注意采样与假负例(是否需 LogQ 校正取决于采样分布和损失,不能机械搬用) |
| 推荐算法 10 · 向量检索与 ANN | 「图文进同一个空间」之后拿它干什么:HNSW / IVF 怎么在千万级向量里秒选一批 |
| 06c · 解码参数怎么调 | 这一页的温度系数 τ,和你调 API 的 temperature 使用相同的缩放数学形式,但作用阶段不同 —— 那一页讲它落在采样上是什么样 |
| 机器学习与深度学习基础 05 · 评估与过拟合 | 「阶段一冻住、阶段二解冻」这类训练安排背后的判据:什么时候该冻、解冻会过拟合到什么程度 |
✅ 检查点
- CLIP 训练出来的是什么?能用来做什么?
- CLIP 的 InfoNCE 在优化什么?它的负样本从哪里来?
- 温度系数 τ 调小、调大分别有什么后果?CLIP 是怎么处理 τ 的?
- 为什么 batch size 对对比学习特别重要?SigLIP 改了什么来绕开这个限制?
- ⭐ CLIP 的训练方式和推荐系统的哪个模型是同一套?列出至少三条对应关系。
- LLaVA 和 BLIP-2 的 Q-Former 在投影层上有什么区别?各自的取舍是什么?
- LLaVA 的两个训练阶段分别训什么、冻什么?为什么视觉编码器通常不解冻?
👀 答案
- 让图片和文字进入同一个向量空间。可以用文字搜图、图搜图、零样本分类,且能复用同一套向量检索基础设施。
- 一个 batch 的 N 对图文编码后得到 N×N 相似度矩阵,InfoNCE 要求对角线最大——本质是“N 选 1 选对”的交叉熵(图找文、文找图各算一次取平均)。负样本来自同批数据,但可能包含语义相关的假负例:同一批次里别人的正样本就是我的负样本(in-batch 负采样)。
- 对固定相似度,小 τ 使 softmax 更尖锐并改变梯度尺度,大 τ 使它更平坦;不能直接推断训崩或坍塌。CLIP 学习 log(1/τ),论文约束的是指数后的分数乘数不超过 100。
- 因为负样本就是 batch 里的其他样本:batch=256 只有 255 个干扰项,batch=32768 有 32767 个(CLIP 用的量级)。干扰项越多多选题越难,向量必须分得越开——这是对比学习最直接的效果杠杆。代价是显存(N×N 矩阵,得多卡 all-gather)。SigLIP 把 softmax 对比损失换成逐对的 sigmoid 二分类,每对自己判“配不配”,不再需要对整行归一化,于是小 batch 也能训。
- 推荐算法第 8 章的双塔召回。 对应关系:图片/文本编码器 ↔ 用户塔/物品塔;in-batch 负采样可类比,但具体损失与采样分布需核对;温度系数 τ 可类比,但具体损失与采样分布需核对(那边从 0.05 开始调);图文进同一空间用文字搜图 ↔ 用户物品进同一空间做 ANN 召回。也需注意采样与假负例(采样偏差需结合具体损失处理,LogQ 不能无条件照搬、负样本选错会训废、batch 增大并非总有收益,仍需检查假负例、数据和资源)。
- 直接投影在本页例子中保留较多视觉位置;BLIP-2 的 Q-Former 用一组查询提取视觉信息(论文为 32 个查询)。二者有长度、结构与训练取舍,不保证某一路细节无损或必然更优。
- 阶段一只训投影层(视觉编码器和 LLM 全冻),用【图片 → 简短描述】把视觉向量对齐到 LLM 的词空间,本质是训一个“翻译器”;阶段二训投影层 + LLM(视觉编码器仍冻),用【图片 + 多轮指令问答】做指令微调。视觉编码器不解冻是因为它的表征是几亿图文对训出来的,随便动会破坏好不容易对齐的空间。
本节回顾
⚡ 走神救援
先记住这几件事
- CLIP 把图片与文字映射到可比较的表示空间,用配对关系训练匹配能力。
- 批内负样本与温度影响区分难度,也会放大错配数据的影响。
- 视觉投影还要权衡保留细节与输入长度,不是所有压缩都没有代价。
下一节 👉 10b-图像生成.md