07b · 开源生态怎么选,以及要不要自建
⏱ 26 分钟 | ⭐ 先定质量与边界,再比较 API、自建和混合方案
🎯 一句话
上一页验证“能跑”,这一页检查“能否以可接受的质量、成本和风险持续服务”。
自建可能带来控制权,也可能在一定负载下省钱;API 也可能提供所需的定制和部署边界。不要先下“多数情况自建不划算”或“内网就自动合规”的结论。
读完先产出一张比较表:同一任务是否答得够好、是否满足数据与运行要求、总成本是多少。 三项都过关,才进入具体工具选择。
🚦 决策:什么时候该自建
先区分三个概念:本地是运行位置,自建是维护责任,开放权重是模型可获得方式。它们不是同一个维度;模型可以运行在自己的机器,也可以自建在租用的云 GPU 上。
| 你的约束 | 优先核对什么 | 为什么不能直接定答案 |
|---|---|---|
| 确认需要离线或禁止数据外传 | 模型、依赖、日志和更新能否在允许边界内运行 | 不能仅凭行业名称判断;还需明确数据种类与实际要求 |
| 流量较大且稳定 | 同质量、同延迟下的单位成本和峰值余量 | 只有容量和利用率合适时,自建才可能更省 |
| 需要专有微调模型 | 候选服务是否支持该模型及权重控制要求 | 微调不必然要求自己运维全部基础设施 |
| 追求低延迟 | 网络、排队、首 token 与生成速度 | 本地少一次网络往返,也可能因硬件较弱更慢 |
| 需要学习或实验 | 已有设备、下载量、运行资源与可接受成本 | 可以用现有硬件尝试,但不是“免费随便玩” |
| 维护能力有限或快速验证 | 是否有符合约束的托管服务 | API 仍需要权限、预算、重试、质量与故障处理 |
这些是筛选条件,不是“医疗、金融必须自建”“小流量必须 API”的行业结论。隐私和合规要求要先明确,再决定技术边界;详见第 14 章。
💸 自建的"隐性成本"清单(算账时最容易漏)
两边都算完整成本,不只比较 GPU 月租与 token 单价。
- 自建侧: 设备折旧或租金、电力与机房、闲置与峰值余量、存储网络、监控更新、故障值守。
- API 侧: 输入输出、缓存与工具等实际计费项,重试与失败调用、集成维护、限额与备用路径。
- 两边共有: 质量评测、安全权限、数据治理、业务适配,以及达不到质量要求造成的额外处理成本。
不能预设人力总是最大的一笔,也不能预设 API 模型会自动“免费升级变强”。版本变更可能改变价格、行为和兼容性,两边都需重新验证。
用一个假设算例看盈亏点。 先假定两种方案的质量、延迟和容量都已达标,并按相同的“成功完成一次任务”计量;以下不是实际报价:
| 假设项 | API | 自建 |
|---|---|---|
| 每月固定成本 | 0 元 | 600 元 |
| 每次任务的变动成本 | 0.006 元 | 0.002 元 |
| 每月 10 万次 | 600 元 | 800 元 |
| 每月 30 万次 | 1,800 元 | 1,200 元 |
按这些假设,盈亏点为 600 / (0.006 − 0.002) = 15 万次/月。流量超过它时自建账面更低,但如果需要扩容或服务质量不同,就要重算;不能把 15 万次当通用阈值。
觉得贵,先拆账单。 重复长前缀较多时,可评估 Prefix Caching;输出过长时可检查任务设计与生成预算。缓存命中、提供方计费与质量约束不同,不保证这两项永远投入产出比最高,见06d · 降延迟与指标。
还可以比较 API 与自建混合路由,但需要额外评测路由误判、数据边界和回退成本,不能只累加各自优点。
🌍 开源模型生态(会变,记结构别记名字)
开放权重不等于所有代码、数据和用途都无条件开放。 许可证、模型卡与实际能力要看具体版本,不能对整个品牌套一份结论。
下面保留原来的系列入口,作为查资料的起点,不是最新排名、完整名单或质量背书。链接核对日期:2026-09-09。
| 系列示例 | 官方入口 | 到那里具体核对什么 |
|---|---|---|
| Qwen | Qwen3 仓库 | 精确 checkpoint、尺寸、模式、运行说明 |
| DeepSeek | DeepSeek-V3 仓库 | 该版本架构、部署要求与权重说明 |
| Llama | Llama 模型仓库 | 模型卡、许可与所需工具链 |
| Mistral | 官方模型目录 | 哪些模型可下载,哪些以服务提供 |
| Gemma | 官方文档 | 型号、任务支持、运行环境与使用条件 |
| 垂直微调版本 | 该发布者的模型卡与仓库 | 基座、微调数据、变更、许可与可信来源 |
选型仍看四点,但每一点都要有可检查的结果:
- 授权与数据边界: 当前版本是否允许计划中的商用、修改、分发或服务方式;有疑问时进一步审核,而不是从“开源”二字推断。
- 任务与语言质量: 在自己的中文、代码、工具调用或专业任务上测试。不能凭厂商所在地断定中文最好。
- 硬件与运行预算: 权重之外,还计入激活、KV Cache、上下文和并发;用实际量化档位测试。
- 实现与维护: tokenizer、聊天模板、推理引擎、量化格式、升级和故障恢复是否配合。
榜单适合形成候选,不负责替你的应用验收。用相同评测输入、生成约束、质量标准与负载比较,再记录版本;见第 11 章。
🔗 想再深一层,去哪一套
| 去哪 | 为什么 |
|---|---|
| AI基础设施 20 · 推理服务化 | ⭐ 这一页回答「要不要自建」,那一章回答决定自建之后用哪个引擎:引擎横评 + 一棵四问决策树 |
| 模型上线之后 18 · 成本与容量 | 「隐性成本清单」的容量侧:峰值该按什么算、闲置到底烧掉多少,把每一项变成数字 |
| 全景导论 11 · 评测体系 | 「时效警告」的兑现方式:榜单该怎么看、为什么不能照着排名直接选 |
| 密码学与信息安全 22 · 云密码学 | 了解同态加密、安全多方计算等不同信任模型;它们不是任意 LLM 的现成低成本替代,需单独评估威胁模型和工程可行性 |
📦 深挖的话要学什么
下面按交付问题分路。“有相关章节”不代表已经包含你所用版本的完整操作,也不代表你需要全部先学完。
模型如何成为可运行的服务
- 下一站:AI 全栈 14 · 容器化与部署,多卡原理见 AI 基础设施 12 · 张量并行。
- 继续看:推理服务化 20 的负载均衡、健康检查与请求取消。
- 验收:进程存活、服务就绪、代表性推理分别检查;取消请求要沿链路传播并释放资源。模型热切换仍需按引擎验证,不能假设容器能启动就已完成。
流量来了,能承受多少
量化后质量是否还能接受
- 下一站:AI 基础设施 18 · 量化。
- 看什么:在自己的任务数据上比较各档位;校准集是否匹配业务只是一个检查方向。
- 边界:质量下降也可能来自位宽、实现、激活异常和模型本身,不能都归因于校准集。
多个租户能否共用基座
- 下一站:推理服务化 20,原理配合 05 · 微调与 LoRA。
- 看什么:多 LoRA 适配器的挂载、批处理、显存预算与隔离。
- 验收:当前引擎、模型和适配器格式是否真的支持这套组合。共享基座省掉重复权重,不会自动解决租户权限问题。
手机与嵌入式部署
- 下一站:PyTorch 10 · 把模型交出去。
- 保留的主题:模型与 state_dict、TorchScript trace/script、ONNX 导出与对拍、torch.compile。它们用途不同,不能都叫“导出文件”。
- 继续验证:CoreML/TensorRT 转换、手机 runtime、内存和量化质量,需要对应设备与版本的官方说明和实机测试。
把私有知识助手接成系统
- 下一站:智能体工程 17b · 企业知识助手交付项目;它有实践骨架,也明确标出尚未实现的生产能力。
- 配套入口:模型服务见 AI 基础设施 20,向量检索见 推荐 10。
- 监控与预算:基础设施 23、模型上线 05、AI 全栈 12。
- 交付边界:仍要核验网关、网络隔离、权限、失败恢复与备份;有一个演示项目,不等于已经完成企业部署。
先判断需要哪种交付能力,再补对应的 Linux、Docker 或推理引擎知识。
⚖️ 要不要深挖
| 你的情况 | 下一步 |
|---|---|
| 从没跑过本地模型 | 在已有设备和允许的数据上做一次小规模实验,观察显存、速度与结果;耗时不作保证 |
| 有明确的数据或离线约束 | 先写出要求,再验证部署、日志、权限和依赖的边界 |
| 想降低费用 | 用代表性流量比较总成本,不先购买硬件 |
| 做私有化交付 | 继续检查服务化、容量、隔离、更新和回退 |
| 当前 API 已满足目标 | 用比较表核对交付需求,涉及自建时再补相关工具 |
实践可以帮助理解量化、显存和延迟;生产部署则还包含容量、安全与维护。不能把这一块称为“知识密度最低、内容撑不满一套教程”。
✅ 检查点
- 哪些约束影响自建选择?本地、自建与开放权重为什么不是同义词?
- 总成本比较要包含哪些项目,为什么两边都要算?
- 本页假设算例的盈亏点是多少?它能直接用于采购吗?
- 选型的四项检查是什么?为什么不能只按品牌或榜单选?
- 缓存一定省钱、局域网一定低延迟、自建一定合规吗?
👀 答案
- 质量、数据边界、离线要求、流量、延迟和维护责任一起决定。本地是位置,自建是维护责任,开放权重是可获得方式。
- 设备或服务费用、闲置与峰值、网络存储、集成运维、评测安全与失败处理。只算一边的完整成本会制造假优势。
- 在质量和容量相同的假设下是 15 万次/月。数字是教学假设,扩容、价格或任务变化都要重算,不能作为购买建议。
- 具体授权、真实任务质量、硬件预算、实现维护。品牌不是固定质量等级,排行榜也不代表自己的流量与约束。
- 都不一定。缓存需有命中且计费合适;端到端延迟还含排队和生成;自建仍需权限、日志、数据与运行边界检查。
本节回顾
到这里,你应能写出自建、API 或混合方案的比较条件;若信息不足,先列出要测的数据,不必强行给出选择。
什么时候继续? 如果任务是查询私有资料,可以去 08 · RAG。答不上资料还可能涉及资料缺失、检索、权限、上下文或生成环节,不能仅凭结果就确定“不是部署问题、一定是检索问题”。
⚡ 走神救援
先记住这几件事
- 先对齐任务质量、数据边界和服务要求,再比较部署方案。
- 用实际流量算两边总成本,不能照搬固定的“便宜”结论。
- 选具体版本并实测:模型名单和榜单都只是候选入口。
下一节 👉 08-RAG深水区.md