智能体工程 · 14d
20道题跑了60次,究竟证明了什么?
读完能做的判断:分别报告题目、题次与实际模型输出,保留冻结条件和未人工验收边界。
真实模型问答与逐题验收
⏱ 阅读约 33 分钟 · 动手实践另计
本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。
更新:2026-10-13。公开冻结评测的实际结果与限制见第一节;第十二批加载失败和第十四批开发排错仍保留原报告。
一句话带走:先固定题目与运行条件,再把每个计划题次记清楚;完整回答、引用结构和人工语义验收分别报告。
运行条件与相关章节
第一、二节给出题次分母和冻结清单。核对一条原始答案时沿用该清单;实际推理需要先准备本地模型,结果另行人工复核。
先读数据集泄漏检查与冻结验收。开发环境仍有错误时先回生成环境预检与失败续跑;不要一边公开评测一边调参。原实验使用知识助手工程中的代码、公开题与虚构语料,不使用真实员工或客户私密材料。
1.先看这次实际做到了哪里
第十四批开发演练后,本批冻结20道公开题、每题3次。实际在第10题遇到资源错误,v2漏识别后仍启动第11题,随后中断客户端;60个计划题次未跑完。
| 计数 | 本次实际记录 | 阅读边界 |
|---|---|---|
| 计划 / 已开始 / 有结束记录 | 60 / 11 / 10 | 已开始不等于拿到最终结果 |
| 有效 / 失败 / 中断未知 / 未开始 | 9 / 1 / 1 / 49 | 四项相加仍为60 |
| 已存适配器调用 / HTTP有响应 | 20 / 20 | 仅保存日志的下界,中断题调用数未知 |
| 人工语义复核 | 0 | 质量结论继续unknown |
硬中断没有产出runner原始汇总;派生恢复摘要(examples/knowledge-assistant/validation/generation-public-20261013-audit/recovered-summary.json)从原记录复原账目,结果行人工表(examples/knowledge-assistant/validation/generation-public-20261013-audit/observed-human-review.csv)只含10个有结果行。已存trace内明确未发0、发送未知0,不能据此把中断题未知调用填0。完整墙钟耗时与三次重复一致性都未取得;9份合法答案也不表示事实正确。冻结与限制见第十五批报告(docs/reports/yuque-fifteenth-batch/implementation-report.html),旧失败保留第十四批(docs/reports/yuque-fourteenth-batch/generation-report.md)和第十二批(docs/reports/yuque-twelfth-batch/implementation-report.html)。
历史里曾出现加载失败、只有工具调用、引用截断和JSON围栏。新运行成功也不删除它们:每份记录回答的是当时那套环境与配置下发生了什么。
检查点 1:已有三道开发题成功,能把公开60题次标为通过吗?
不能。开发记录只支持开始下一阶段;公开题必须有自己的冻结协议、逐题输出和统计。还要区分运行完成与人工质量通过。
2.20道题、60个题次,各自回答什么
dev.json用于排错,public_frozen.json用于固定配置后的公开检查。两者各有20道题;运行时核对实际文件字节的SHA256,不靠文件名判断内容没变。
三次重复仍是20种问题,不是60种独立问题。公开题可能被作者和模型见过,因此这不是独立盲测;真正的未知保留集需要未参与调参的人另行准备。固定seed、temperature与模型摘要能记录条件,不能保证跨硬件或版本完全确定。
| 统计对象 | 本次计划 | 用途 |
|---|---|---|
| 唯一问题 | 20 | 核对哪些问题簇实际覆盖 |
| 重复次数 | 3 | 看同一条件下输出与运行是否稳定 |
| 计划题次 | 60 | 有效、失败、中断、未开始共享的分母 |
| HTTP chat请求 | 由实际日志统计 | 一题可能用多次请求,不能当题数 |
重复之间保持同一配置,不挑最佳答案。某题第一次失败、第二次成功,两个记录都留下;不能只保留第二次。
检查点 2:60个题次都输出了答案,就有60个独立样本吗?
没有。只有20个唯一问题,每题重复3次。报告可以讨论这次重复的稳定性,不能把重复当成新增题目来夸大覆盖。
3.第一道公开题发出前,冻结什么
保存题集哈希、问题ID及顺序、语料版本、代码哈希、模型完整digest、提示词与工具定义、检索参数、生成选项、重复次数和停止规则。保存时间应早于第一条公开请求;运行过程中再次核对,漂移就停。
本批沿用开发阶段确定的受限问答策略:允许原工具检索;拿到真实搜索证据后,合成阶段不再提供tools,并要求JSON输出。上下文2048、输出上限512、temperature0、seed20261013、batch32、think=false。模型仍须通过原agent的字段、ACL、当前revision、quote和provided_to_model检查。该策略不是自由多轮Agent收敛证明。
参考事实可供评测后核对,不能塞进模型请求。冻结并非防篡改签名;文件哈希用于发现变化,仍要保留旧文件与执行时间。看过公开结果后改提示词或参数,应另开开发实验,不能继续叫同一次冻结验收。
v2还固定数据库策略:新建虚构教学库,60题次共用,各用独立操作号,题间不清库;每题记业务状态前后变化。重复差异也要考虑已有状态。v2冻结文件(examples/knowledge-assistant/validation/generation-public-20261013-protocol-v2.json)是历史凭据;v1在请求前被替代,修复后代码须另行冻结,不混入v2。
检查点 3:前五题不好,临时增大输出上限再合并统计,行吗?
不行。先结束并保留原运行及未开始数,再另存协议与新实验,明确变化。不能让同一个结果表悄悄混入两套条件。
4.按记录顺序运行,输出目录只新建
先做离线契约测试,再检查已安装模型与本地服务;元数据可读不等于推理成功。运行器复用原知识助手,实际模型请求串行发送。原始请求、响应、工具返回与最终答案都保留,避免用测试里的固定消息冒充真实回答。
以下以原示例目录 examples/knowledge-assistant 为工作目录。先离线测试与冻结,下面的读者协议和输出都用新名字:
python -X utf8 -m unittest test_generation_public -v
python -X utf8 generation_public.py --freeze validation/public-reader-01-protocol.json
$publicProtocolSha = (Get-FileHash -LiteralPath validation/public-reader-01-protocol.json -Algorithm SHA256).Hash.ToLowerInvariant()
python -X utf8 generation_public.py --run --protocol validation/public-reader-01-protocol.json --protocol-sha256 $publicProtocolSha --output validation/public-reader-01-run
前两条不请求模型;最后一条才开始真实运行。测试若失败先停,冻结后代码或语料变化也会拒绝继续。现有模型需与协议完整digest匹配;新机器生成自己的冻结记录,不改写历史协议来掩盖差异。
每个题次绑定case_id、run_id、轮次与输出文件;按冻结顺序运行。输出目录已存在就拒绝,另取名字保留失败;教学数据库按README重建。
默认帮助和校验模式不应发模型请求,执行须明确选择真实运行。运行器只用现有本地模型,不自动下载或切换收费服务。客户端截止后只能证明客户端停止等待,不能宣称服务端取消或显存已释放。
检查点 4:为什么不直接重用上次输出目录?
同名覆盖会失去失败、配置与原始答案之间的绑定。新目录让每次尝试可回看;需要续跑时也要显式记录哪些题次缺失,不能偷偷重抽成功答案。
5.失败、未开始和未知成本都要占位置
把计划数拆成完整有效输出、失败、已开始但中断未知、尚未开始。HTTP500、超时、截断、无效JSON和原契约拒绝分别记原因。预先规定每请求≤60秒、每题≤180秒和6轮,评测阶段≤45分钟;资源失败或连续3题运行失败停止,不降参、不重试。实际是否按规则停,要再查日志。
本次v2漏识别std::bad_alloc与GGML_ASSERT资源错误,第11题已经启动后才中断客户端。结束记录不完整,因此根据原始目录恢复开始/结束账;第11题保持中断未知,不挪到未开始。后续补检测并做离线测试,没有重新跑模型,也不能把修复后的行为写成v2原本做到的事。
例如计划60个题次,已尝试10个,其中8个有效、2个失败,还有50个未开始。有效输出占计划8/60、占尝试8/10,两种分母都写清楚;不能写“全部通过80%”。人工表没填,8份有效答案的语义质量仍为未知。
done_reason=length即使带文字也不算完整答案。响应没带token数就记null,不能填0;失败时已返回的token仍计入已知成本。耗时与token是运行观察,不是电费、人民币费用或GPU利用率。重复差异也不能直接归因为某个参数。
检查点 5:总预算耗尽后剩余题目没发送,可以从分母删掉吗?
不能。保留原计划60,单列尚未开始。未发不是一个模型答错,但完整计划也没有跑完;报告需要同时呈现这两件事。
6.机器检查通过,只前进了一层
| 检查 | 机器可以直接核对 | 仍不能代替的判断 |
|---|---|---|
| 运行完整性 | 请求返回、输出未截断、工具循环结束 | 回答是否解决问题 |
| 契约与来源 | JSON字段、引用ID/版本、ACL、quote逐字及本次可见性 | 引用语义是否支持命题 |
| 固定参考观察 | 某个数字、词或拒答片段是否出现 | 完整事实、关键条件、合理拒答 |
| 人工语义 | 保留真实复核者填写的结论与依据 | 未填写的字段不自动变成通过 |
手册写180 W,回答却说350 W并引用正确ID,来源结构仍可能合法,结论却不受支持。相反,资料不足时合理拒答可以没有引用;不能把所有空引用都算引用失败。先按可答、资料不足、权限边界等题型分开,再说明指标适用范围。
机器参考表与human-review.csv分开保存,AI审阅也单独标注。只看到数字命中时写“字面检查命中”,不要写“事实正确”。
检查点 6:引用存在、数字命中,能直接把人工列填true吗?
不能。还须检查必要条件、答案是否完整,以及每个命题是否得到本次证据支持。机器结果保持机器结果;人工空白保持未知。
7.从一份答案开始人工复核
先选一个case_id/run_id,读原始问题、答案和provided_evidence;列出全部必要命题。逐项填写事实、引用支持、拒答、ACL与提示注入边界,记录reviewer、依据和分歧。任何必要项false则失败,空白或unknown仍是未知,全部适用项有支持才判通过。
同一句话里“额定功率180 W、所有电压都适用”包含两个命题,不能只确认180 W便放行。引用在库里存在也不够,必须确认那段证据本次确实交给了模型。题目不适用的指标单列,不为了凑满表格填true。
本次硬中断未生成人工表。审计另建planned-human-review.csv保留60计划行;observed-human-review.csv仅含10个结束记录,失败行不冒充有答案,中断与未开始另记。复核按case_id/run_id绑定,拒绝重复、错运行号和缺命题。边界题由第二人独立复核并留分歧;同一作者或模型不能冒充第二人。
检查点 7:第一次复核了某题,后两次重复可以复制结论吗?
先确认答案与证据版本,再逐次复核;run_id不同不能默认相同。重复运行可能改变输出、引用或失败方式,不能把一个判断自动推广到三份答案。
8.走神救援:只追一行与三个分母
任选一条记录,核对协议、请求、证据、原始答案和复核表。分别记录唯一问题数、计划题次数、实际尝试数,以及有效、失败和未开始的次数。
页面能打开和模型能回答也分开验收。浏览器需要实际检查桌面与窄屏排版、折叠答案、导航和阅读进度保存;静态链接检查没有观察过这些交互。本批视觉结果与环境限制统一见学习路线状态。
下一步由缺的证据决定:运行失败先保留并定位;结构失败查契约;有效答案进入答案复核与分歧处理;公开结果可重现后再准备独立保留集。不要用一个“完成率”揉在一起。
检查点 8:这一章最终要交出哪几份东西?
运行前协议与哈希、逐题原始记录、含失败和未开始的摘要、机器检查说明、真实填写或明确留空的人工表。每一份都有自己的范围,公开评测不自动成为盲测。
来源与范围
沿用已读正文的语雀19:怎么解决大模型幻觉问题,把事实、引用与指令边界分开核对;语雀113:大模型RAG评测面试题只读到标题与附件入口,用作选题方向。协议、题集、代码与解释为本站原创,不声称读过未访问的附件或移植源文成绩。
接口契约沿用已核对的Ollama Chat API和结构化输出。格式约束与本机质量各凭自己的证据;读取范围见第十四批来源记录(docs/reports/yuque-fourteenth-batch/source-notes.md)。