🏠 总目录📚 本教程 07b · 开源生态怎么选 ← →

大模型全景导论 / 07b

什么时候自建值得,隐藏成本由谁承担?

先按约束决定是否自建,再核算运行、维护、接口和开源生态条件。

📑 本页目录(点开跳转)

07b · 开源生态怎么选,以及要不要自建

⏱ 26 分钟 | ⭐ 先定质量与边界,再比较 API、自建和混合方案


🎯 一句话

上一页验证“能跑”,这一页检查“能否以可接受的质量、成本和风险持续服务”。

自建可能带来控制权,也可能在一定负载下省钱;API 也可能提供所需的定制和部署边界。不要先下“多数情况自建不划算”或“内网就自动合规”的结论。

读完先产出一张比较表:同一任务是否答得够好、是否满足数据与运行要求、总成本是多少。 三项都过关,才进入具体工具选择。


🚦 决策:什么时候该自建

先区分三个概念:本地是运行位置,自建是维护责任,开放权重是模型可获得方式。它们不是同一个维度;模型可以运行在自己的机器,也可以自建在租用的云 GPU 上。

你的约束 优先核对什么 为什么不能直接定答案
确认需要离线或禁止数据外传 模型、依赖、日志和更新能否在允许边界内运行 不能仅凭行业名称判断;还需明确数据种类与实际要求
流量较大且稳定 同质量、同延迟下的单位成本和峰值余量 只有容量和利用率合适时,自建才可能更省
需要专有微调模型 候选服务是否支持该模型及权重控制要求 微调不必然要求自己运维全部基础设施
追求低延迟 网络、排队、首 token 与生成速度 本地少一次网络往返,也可能因硬件较弱更慢
需要学习或实验 已有设备、下载量、运行资源与可接受成本 可以用现有硬件尝试,但不是“免费随便玩”
维护能力有限或快速验证 是否有符合约束的托管服务 API 仍需要权限、预算、重试、质量与故障处理

这些是筛选条件,不是“医疗、金融必须自建”“小流量必须 API”的行业结论。隐私和合规要求要先明确,再决定技术边界;详见第 14 章。

💸 自建的"隐性成本"清单(算账时最容易漏)

两边都算完整成本,不只比较 GPU 月租与 token 单价。

  • 自建侧: 设备折旧或租金、电力与机房、闲置与峰值余量、存储网络、监控更新、故障值守。
  • API 侧: 输入输出、缓存与工具等实际计费项,重试与失败调用、集成维护、限额与备用路径。
  • 两边共有: 质量评测、安全权限、数据治理、业务适配,以及达不到质量要求造成的额外处理成本。

不能预设人力总是最大的一笔,也不能预设 API 模型会自动“免费升级变强”。版本变更可能改变价格、行为和兼容性,两边都需重新验证。

用一个假设算例看盈亏点。 先假定两种方案的质量、延迟和容量都已达标,并按相同的“成功完成一次任务”计量;以下不是实际报价:

假设项 API 自建
每月固定成本 0 元 600 元
每次任务的变动成本 0.006 元 0.002 元
每月 10 万次 600 元 800 元
每月 30 万次 1,800 元 1,200 元

按这些假设,盈亏点为 600 / (0.006 − 0.002) = 15 万次/月。流量超过它时自建账面更低,但如果需要扩容或服务质量不同,就要重算;不能把 15 万次当通用阈值。

觉得贵,先拆账单。 重复长前缀较多时,可评估 Prefix Caching;输出过长时可检查任务设计与生成预算。缓存命中、提供方计费与质量约束不同,不保证这两项永远投入产出比最高,见06d · 降延迟与指标。

还可以比较 API 与自建混合路由,但需要额外评测路由误判、数据边界和回退成本,不能只累加各自优点。


🌍 开源模型生态(会变,记结构别记名字)

开放权重不等于所有代码、数据和用途都无条件开放。 许可证、模型卡与实际能力要看具体版本,不能对整个品牌套一份结论。

下面保留原来的系列入口,作为查资料的起点,不是最新排名、完整名单或质量背书。链接核对日期:2026-09-09。

系列示例 官方入口 到那里具体核对什么
Qwen Qwen3 仓库 精确 checkpoint、尺寸、模式、运行说明
DeepSeek DeepSeek-V3 仓库 该版本架构、部署要求与权重说明
Llama Llama 模型仓库 模型卡、许可与所需工具链
Mistral 官方模型目录 哪些模型可下载,哪些以服务提供
Gemma 官方文档 型号、任务支持、运行环境与使用条件
垂直微调版本 该发布者的模型卡与仓库 基座、微调数据、变更、许可与可信来源

选型仍看四点,但每一点都要有可检查的结果:

  1. 授权与数据边界: 当前版本是否允许计划中的商用、修改、分发或服务方式;有疑问时进一步审核,而不是从“开源”二字推断。
  2. 任务与语言质量: 在自己的中文、代码、工具调用或专业任务上测试。不能凭厂商所在地断定中文最好。
  3. 硬件与运行预算: 权重之外,还计入激活、KV Cache、上下文和并发;用实际量化档位测试。
  4. 实现与维护: tokenizer、聊天模板、推理引擎、量化格式、升级和故障恢复是否配合。

榜单适合形成候选,不负责替你的应用验收。用相同评测输入、生成约束、质量标准与负载比较,再记录版本;见第 11 章。


🔗 想再深一层,去哪一套

去哪 为什么
AI基础设施 20 · 推理服务化 ⭐ 这一页回答「要不要自建」,那一章回答决定自建之后用哪个引擎:引擎横评 + 一棵四问决策树
模型上线之后 18 · 成本与容量 「隐性成本清单」的容量侧:峰值该按什么算、闲置到底烧掉多少,把每一项变成数字
全景导论 11 · 评测体系 「时效警告」的兑现方式:榜单该怎么看、为什么不能照着排名直接选
密码学与信息安全 22 · 云密码学 了解同态加密、安全多方计算等不同信任模型;它们不是任意 LLM 的现成低成本替代,需单独评估威胁模型和工程可行性

📦 深挖的话要学什么

下面按交付问题分路。“有相关章节”不代表已经包含你所用版本的完整操作,也不代表你需要全部先学完。

模型如何成为可运行的服务

流量来了,能承受多少

  • 下一站:服务化压测 与 可观测性与成本。
  • 看什么:吞吐、TTFT、TPOT、KV 占用、排队与尾延迟。
  • 产出:包含闲置、人力与峰值余量的成本表;只报 GPU 利用率或月租都不够。

量化后质量是否还能接受

  • 下一站:AI 基础设施 18 · 量化。
  • 看什么:在自己的任务数据上比较各档位;校准集是否匹配业务只是一个检查方向。
  • 边界:质量下降也可能来自位宽、实现、激活异常和模型本身,不能都归因于校准集。

多个租户能否共用基座

  • 下一站:推理服务化 20,原理配合 05 · 微调与 LoRA。
  • 看什么:多 LoRA 适配器的挂载、批处理、显存预算与隔离。
  • 验收:当前引擎、模型和适配器格式是否真的支持这套组合。共享基座省掉重复权重,不会自动解决租户权限问题。

手机与嵌入式部署

  • 下一站:PyTorch 10 · 把模型交出去。
  • 保留的主题:模型与 state_dict、TorchScript trace/script、ONNX 导出与对拍、torch.compile。它们用途不同,不能都叫“导出文件”。
  • 继续验证:CoreML/TensorRT 转换、手机 runtime、内存和量化质量,需要对应设备与版本的官方说明和实机测试。

把私有知识助手接成系统

先判断需要哪种交付能力,再补对应的 Linux、Docker 或推理引擎知识。


⚖️ 要不要深挖

你的情况 下一步
从没跑过本地模型 在已有设备和允许的数据上做一次小规模实验,观察显存、速度与结果;耗时不作保证
有明确的数据或离线约束 先写出要求,再验证部署、日志、权限和依赖的边界
想降低费用 用代表性流量比较总成本,不先购买硬件
做私有化交付 继续检查服务化、容量、隔离、更新和回退
当前 API 已满足目标 用比较表核对交付需求,涉及自建时再补相关工具

实践可以帮助理解量化、显存和延迟;生产部署则还包含容量、安全与维护。不能把这一块称为“知识密度最低、内容撑不满一套教程”。


✅ 检查点

  1. 哪些约束影响自建选择?本地、自建与开放权重为什么不是同义词?
  2. 总成本比较要包含哪些项目,为什么两边都要算?
  3. 本页假设算例的盈亏点是多少?它能直接用于采购吗?
  4. 选型的四项检查是什么?为什么不能只按品牌或榜单选?
  5. 缓存一定省钱、局域网一定低延迟、自建一定合规吗?
👀 答案
  1. 质量、数据边界、离线要求、流量、延迟和维护责任一起决定。本地是位置,自建是维护责任,开放权重是可获得方式。
  2. 设备或服务费用、闲置与峰值、网络存储、集成运维、评测安全与失败处理。只算一边的完整成本会制造假优势。
  3. 在质量和容量相同的假设下是 15 万次/月。数字是教学假设,扩容、价格或任务变化都要重算,不能作为购买建议。
  4. 具体授权、真实任务质量、硬件预算、实现维护。品牌不是固定质量等级,排行榜也不代表自己的流量与约束。
  5. 都不一定。缓存需有命中且计费合适;端到端延迟还含排队和生成;自建仍需权限、日志、数据与运行边界检查。

本节回顾

到这里,你应能写出自建、API 或混合方案的比较条件;若信息不足,先列出要测的数据,不必强行给出选择。

什么时候继续? 如果任务是查询私有资料,可以去 08 · RAG。答不上资料还可能涉及资料缺失、检索、权限、上下文或生成环节,不能仅凭结果就确定“不是部署问题、一定是检索问题”。

⚡ 走神救援

先记住这几件事

  • 先对齐任务质量、数据边界和服务要求,再比较部署方案。
  • 用实际流量算两边总成本,不能照搬固定的“便宜”结论。
  • 选具体版本并实测:模型名单和榜单都只是候选入口。

下一节 👉 08-RAG深水区.md

打卡记录保存在你的浏览器里,首页能看到总进度