10c · 语音与视频
⏱ 20 分钟 | ⭐ 两个模态,一个共同的走向:也被 token 化了
🎯 一句话
语音和视频可先编码为连续表示,也可使用离散码序列。部分模型直接处理音频以保留更多语音线索;视频需同时处理空间细节与时间关系。具体结构不能简单照搬文字分词器。
⚠️ 这一页不依赖前两页,可以直接看。
🔊 三、语音
关键信息
- ASR 语音识别(听)
- Whisper 类:音频 → 梅尔频谱图 → Encoder-Decoder → 文字
- 实际上把音频当"图"处理,再用序列模型转文字
- TTS 语音合成(说)
- 文本 → 声学特征 → 声码器 → 波形
- 现在流行:直接把音频离散化成 token,用 LLM 的方式生成 ⭐
- 端到端语音对话(2024+)
- 不再走 语音→文字→LLM→文字→语音 的链路
- 而是音频表示经编码与对接后进入模型
- 可减少部分级联开销并保留语音线索;低延迟与打断仍需流式与调度设计
💡 注意那个趋势:语音也被「token 化」了——又回到了第一句话:不同模态先变成可计算表示,表示不一定离散。
ASR 把一段声音转成文字,Whisper 是其中一种实现。下面的选读比较不同的对齐与输出方式。
选读:CTC、Transducer、Paraformer 怎样把声音对齐成文字?
说话快慢不同,声学时间步数 T 与文字标签数 U 通常不同。对齐是在问哪些声音位置对应哪些标签;不能把每个声学帧直接当成一个汉字。下面比较三种识别建模方式,不是三种音频分词器。
| 范式 | 对齐、上下文与解码 |
|---|---|
| CTC Connectionist Temporal Classification,连接时序分类 | 声音 → 编码器 → 每个时间步的“标签或 blank”分布 → 路径合并。给定声学输入,路径概率按各时间步输出的条件独立因子相乘;编码器本身仍可利用上下文。训练把所有能合并成目标文字的路径概率相加,不要求人工逐帧对齐。推理可逐帧取最大值再合并,但“最可能路径”不保证对应“总概率最大的文字”;前缀搜索或外部语言模型是另外的解码选择。 |
| Transducer 此处特指 RNN Transducer(RNN-T)路线 | 声音 → encoder;已输出的非 blank 标签历史 → prediction network;两路 → joint 输出分布。状态用声学位置 t 和已输出标签数 u 表示:选 blank 时前进声学时间,选文字标签时增加 u、更新标签历史,可在同一声学步输出多个标签。训练对可能的变长对齐路径求和。它显式使用输出历史,不能把所有 Encoder–Decoder 都叫 Transducer,也不套用 CTC 的相邻重复折叠规则。 |
| Paraformer 以 Interspeech 2022 原论文为准 | 声音 → encoder → CIF predictor → 预测标签数与对应声学嵌入 → 双向解码器并行输出标签。CIF(continuous integrate-and-fire,连续积分触发)累积权重并聚合声学表示,解决长度与软对齐;这里的 predictor 不是 RNN-T 中读取文字历史的 prediction network。推理不逐字把刚输出的标签喂回去。论文训练时用 glancing sampler 混入部分真实标签嵌入来加强上下文学习,推理时关闭它,不能把真实答案作为推理输入。 |
CTC 小例子:只把 a 当作标签、∅ 当作 blank。一条路径 a a ∅ a 先合并相邻重复得到 a ∅ a,再去 blank 得到 a a;而 a a a a 合并后只有一个 a。所以要保留连续两个相同标签,中间需要 blank;不能先删 blank 再把所有相同标签合在一起。blank 表示此步不输出标签,不等于文本空格。这里只演示路径规则,没有识别真实录音。
并行、流式、低延迟是三件事。CTC 或 RNN-T 若要边听边出字,前端和编码器也要限制未来可见范围,并处理分块状态与端点;模型名称本身不保证流式。Graves 2012 的 RNN-T 原论文就用了双向声学网络,不能直接当成实时配置。原版 Paraformer 的双向并行解码面向整段输入;流式变体要另看实现。FunASR v1.4.14 将 paraformer-zh 与 paraformer-zh-streaming 分列,并在流式示例传递分块、缓存、末块标志和回看配置;不能只把离线音频切小就认定离线模型已变成流式。
怎样取舍:先问是否必须增量返回、允许看多少未来声音、是否需要显式标签历史,再选具体模型和解码配置。整句任务可测试 Paraformer 的并行输出路径;在线任务则核实所选 CTC/RNN-T 或流式 Paraformer 的因果/分块实现。对同一语言与噪声条件、测试集、文字归一化规则和设备,固定精度、批量、beam/语言模型配置,再比较 CER/WER(字符/词错误率)、计算耗时与音频时长之比 RTF,以及首字、端点到最终结果和整句延迟。低 RTF 不自动等于首字更快;语言覆盖、标签数预测误差、上下文与搜索成本也会影响结果。这里没有三者通用的速度或精度排名。
一手依据:CTC 原论文 §3–4;RNN Transducer 原论文 §2;Paraformer 2022 §2;上述固定版本 FunASR 官方示例。此处为机制与选型读法,未运行 ASR 模型或设备测试。
🎬 四、视频
关键信息
视频是当前算力消耗最大、进展最快的方向之一。
📦 深挖的话要学什么
📍 每条后面标了它在哪: 📗 本库有 = 站内已经讲透,点进去就行;📙 半有 = 站内讲了一半,另一半得外找; 📕 要外找 = 站内没有,得去论文或别处。 ⚠️ 先说结论:这一章是全导论「要外找」比例最高的一章。 本库是一套以语言模型为主干的教程,图像生成已有独立扩散教程;语音与视频的完整实现需要另查专门材料—— 与其让你按图索骥扑空,不如在这里说清楚。
视觉理解(📗 = 站内已有相应讲解):📗 基础图像分类 ViT | 📗 CLIP 的 InfoNCE 与温度系数(10d)| 📗 投影层两条路线:LLaVA 的 MLP vs BLIP-2 的 Q-Former(10d)| 高分辨率处理(切图 / AnyRes 策略)、SigLIP 之后的编码器演进、多模态对齐的数据配方、视频理解、OCR 与文档理解、多模态 RAG
→ 📗 基础图像分类 ViT:本库有。从 ML基础 14 · ViT 图像入口 顺着 patch 切块展平 → 共享投影 → CLS / 位置嵌入 → 编码器 → 分类头 学起;已有形状手算例。
Kaggle 09 · 任务类型与模型架构 的表里有 ViT 的参数量和「Patch Embedding」一行,以及结合预训练、数据规模和任务比较 ViT/Swin 的选型思路。
这个入口讲的是基础图像分类 ViT,不等于所有视觉编码器或 VLM 适配器。比较 CNN / ViT 仍要结合预训练、增强 / 正则、任务与预算;没有通用的数据量胜负线,形状手算也不是推理或速度实测。
→ 📕 其余全部要外找:AnyRes 切图、SigLIP、多模态对齐数据配方、OCR 与文档理解、多模态 RAG,本页未系统展开,需核对专门资料;文档入库与解析已有 RAG 相关入口。⚠️ 其中「OCR 与文档理解 + 多模态 RAG」值得单独提醒——08d · RAG 进阶方向 的深挖清单里「文档解析(PDF/表格/扫描件)」同样是 📕,这两章在这一点上是同一个空洞,做文档问答的话要有心理准备。
语音:梅尔频谱、Whisper 架构、音频 token 化(残差量化——和推荐算法第 14 章的 Semantic ID 是同一个技术!)、TTS 声码器、端到端语音对话、实时流式处理
→ 📙 半有(只有残差量化这一项,但它讲得很透):推荐算法 14 · 生成式推荐 的「Semantic ID」一节讲的就是 RQ-VAE 残差量化——把连续向量逐层逼近、每层挑一个码字,得到 <c₁=42, c₂=17, c₃=203, c₄=88> 这样从粗到细的离散码。一些音频编解码器也使用残差向量量化,但训练目标、时序与码率约束不同,只是被量化的向量来自音频编码器而不是物品编码器。 ⭐ 这是全站跨度最大的一条同构,值得专门去一趟。
→ 📕 其余要外找:梅尔频谱、Whisper 架构、TTS 声码器、端到端语音对话,站内没有。
视频:时空注意力、3D VAE、关键帧策略、视频生成的一致性
→ 📕 整块要外找:本页仅提供视频入口,完整视频建模需专门资料。这是本库最外侧的边界。
需要的前置:第 2 章 Transformer。图像生成部分需要一点概率论(扩散过程),是本导论里数学要求最高的一块。
⚖️ 要不要深挖
| 你的情况 | 建议 |
|---|---|
| 只做文本应用 | ⛔ 知道 VLM 怎么工作、图片吃 token 就够 |
| 要做图像/设计/创意工具 | ✅ 深挖扩散模型 |
| 要做语音助手/客服/播客工具 | ✅ 深挖 ASR/TTS + 端到端语音 |
| 要做文档处理(PDF/表格/图表) | ✅ 深挖 VLM + 多模态 RAG(和第 8 章配合) |
| 想全面了解 AI | ✅ 至少把视觉理解那部分学了 |
🔑 我的判断:这块独立性最强——它和站内其余几套的重叠很少,可以完全独立成一套。
⭐ 但有一个重要的例外:如果你做过推荐或搜索,CLIP 的对比学习你其实已经会了——它就是推荐算法 08 · 深度学习推荐模型的双塔 in-batch 负采样 + 温度系数。 所以「视觉理解」这半边的入门成本比它看起来低得多;真正陌生的是「图像生成」那半边。
但也正因为独立,它的优先级取决于你的业务方向,而不是技术逻辑: - 做文本应用 → 优先级最低 - 做内容/设计/语音产品 → 优先级最高
另外它内部还能再拆:视觉理解(偏应用,容易)和图像生成(偏原理,需要概率论)是两个不同难度的东西。
🔗 想再深一层,去哪一套
| 去哪 | 为什么 |
|---|---|
| 主线 1 · 文字怎样进入模型 | 「不同模态先变成可计算表示,表示不一定离散」的原版:文字是怎么被切成 token 的,可迁移表示与序列的思路,但编码和生成目标不同 |
| 推荐算法 14 · 生成式推荐 | ⭐ 音频的残差量化和那一章的 Semantic ID 是同一个技术 |
| AI基础设施 16 · KV Cache | 视频「1 分钟上万 token」为什么是硬约束:每个 token 都要占一份缓存 |
| AI全栈 05 · 流式输出 | 端到端语音对话「延迟低、可打断」在工程上靠什么实现 |
✅ 检查点
- 语音领域「token 化」的趋势体现了什么共同思想?
- 端到端语音对话相比「语音→文字→LLM→文字→语音」那条链路,好在哪三点?
- 视频理解的主要挑战是什么?靠哪两类技术缓解?
- 视频生成比图像生成多了一个什么约束?
👀 答案
- 不同模态需先编码为可计算表示,既可连续也可离散;音频残差量化与其他领域共享数学结构,但时序、码率和训练目标并不相同。
- 直接处理音频可能减少级联转换并保留语音线索;是否低延迟、能否打断,还依赖分块、检测、调度与播放控制,不能仅由端到端结构保证。
- token 爆炸:1 分钟视频可能上万 token。靠时空压缩和关键帧抽取两类技术缓解。
- 时间维度的一致性 —— 物体在帧间不能乱变。对应技术是时空注意力和 3D VAE。
语音与视频回顾
⚡ 走神救援
先记住这几件事
- 语音要区分识别、合成和实时对话,三者的输入输出与延迟要求不同。
- 视频不仅有画面,还必须保留时间顺序和跨帧一致性。
- 压缩、采样与端到端处理都在节省成本与保留信息之间取舍。
下一节 👉 11-评测体系.md