🏠 总目录📚 本教程 14e · 答案复核与分歧处理 ← →

智能体工程 · 14e

两位复核者不一致,答案该算哪一种状态?

读完能做的判断:先固定必要命题并绑定本次答案,分别报告意见、分歧和待决项。

答案复核与分歧处理

⏱ 阅读约 29 分钟 · 动手实践另计

本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。

一句话带走:先固定必须检查的命题,再绑定本次答案和证据;漏项保持未知,分歧保留原意见,明确裁决也不等于程序证明了真相。

实验范围

合成实验展示六行结果和三种复核状态。本章为真实答案提供待填写的复核清单,真实人工判断尚待完成。

先读 真实模型问答与逐题验收。原实验的代码与合成输入属于知识助手工程,实验本身无需模型、浏览器或网络。

1.先看六行记录,不急着算准确率

你收到三段答案、一个错误、一个空回答,还有一题没有结果文件。只统计已填审核表,会漏掉后三题,也容易漏掉答案中没人检查的必要条件。

实验固定6个题次、每题2个必要命题,共12个。题目、文本、错误、ID和已填标签都是作者编写的 synthetic_fixture。没有真实模型或人工审核;表中“支持”只是合成标签。

合成题次 输入情况 裁决前的记录状态
complete 功率、电压均有两份一致记录 settled:两个命题记录齐全
omission 压力上限有记录,操作授权无人核对 incomplete:仍漏一个必要命题
disagreement 请求次数两票支持、一票不支持 disagreement:保留分歧
error 合成超时错误,没有答案 incomplete:语义未知
missing 计划中有这题,结果中没有 incomplete:语义未知
unanswered 明确记录没有形成答案 incomplete:语义未知

5行结果中只有3行可复核答案。错误和空回答不能靠一个true变成成功,缺行的题也仍在计划中。

检查点 1:审核表有四条“支持”,能说六题通过了四题么?

不能。四条可能是两个命题各两份意见。题次、命题和复核记录必须分别统计。

2.必要命题不能从已收到的意见反推

虚构设备B的原文写“压力上限100kPa;须先取得操作授权”。答案只写压力。若审核表只有“压力正确”,简单汇总可能看见全部为true,就把整题放行。

因此先准备 manifest.json:case_id对应问题与必要命题,planned_runs列case_id/run_id,required_reviewers规定所需不同自报ID数,本例为2。压力和授权各占一个proposition_id;答案漏掉授权,清单仍保留它。

清单需由任务负责人根据问题与资料确认。程序只能发现相对于清单的缺项;清单本身漏了必要条件,它无法知道。清单是否充分仍需领域判断。

manifest_sha256把意见绑定到同一清单。删去授权命题后沿用旧记录会被拒绝。确需修改时另存版本、说明理由,再生成新模板;不能删掉难评命题来提高完成率。

同一问题重复运行须使用不同run_id,不能继承旧答案判断;重复也不等于新增独立问题。未完成题次继续占计划分母。

检查点 2:答案没提“先取得授权”,是否可以不列这个命题?

不可以。必要条件必须留在清单中。没人判断时是未知;核对后才能记录不支持,程序不代填。

3.复核意见必须指向这一次答案

题号与运行号之外,还要绑定审核时的答案和证据。否则答案从“180W”改为“350W”,旧意见可能仍挂在同一个题号上。

独立模块 review_adjudication_lab.py 接收结果快照,每行保存case_id、run_id、status、answer、provided_evidence和error。答案对象与本次证据保留原内容;不能拿后来修订的手册替原回答找理由。

answer_evidence_sha256覆盖整行JSON,包括答案、证据和运行标识。中文与换行参与计算,键顺序和外层排版不影响它;答案附加字段与错误诊断也可原样保留。

哈希能发现内容不匹配,不能证明来源可信或没人把哈希一起改掉。原JSONL、协议与请求日志应另外保留;本实验没有签名、可信时间戳或身份认证。

结果状态为ok、error、unanswered,计划中缺行则输出missing。ok须有非空答案,error须有错误信息。合理拒答仍是可检查的答案,应进入拒答命题复核;unanswered表示根本没形成答案。

检查点 3:证据正文改了,答案文字没改,可以沿用旧意见么?

不能。意见是针对答案与当时证据共同作出的。只要任一内容变化,旧answer_evidence_sha256就不匹配;应保留旧记录,针对新快照重新判断。

4.三种状态,各自回答一个问题

每个必要命题都允许supported、unsupported、unknown三种记录标签。本实验要求提交标签时同时提供reviewer_id和notes;没有填过的模板使用null,不能偷偷当作supported。

状态 进入条件 接下来该做什么
incomplete 数量不足、有人明确unknown,或本题没有可复核答案 补缺失的证据或记录,继续保留未知
disagreement 同一命题出现supported和unsupported 展示原意见与理由,定位分歧
settled 足够记录一致,或符合条件的明确裁决已记录 查看最终标签与适用范围

settled不总是“通过”:两份unsupported也会得到settled。只有所有必要命题均解决,整题才有支持或不支持结论;任何必要命题缺项或有分歧,整题仍为unknown。

同一ID对同一题次、同一命题填两行会被拒绝。一个ID分别检查功率和电压正常,但每个命题仍缺另一个ID。标识使用规范小写形式,避免空格与大小写造成简单重复。

一个人仍可能使用两个ID。输出中的身份与独立人审验证均为false。真实项目需要自己的账号、任务分配与独立复核流程;数量门槛不能代替这些流程。

检查点 4:两个不同ID都写supported,是否能称为完成独立双人验收?

不能。这里只能说两份自报ID不同的记录一致。身份、独立性与是否实际复核均未验证;合成示例没有真实审核者。

5.有分歧时,先保留问题,再记录裁决

接口C的证据写“总共最多2次请求(含首次)”,答案写“最多重试2次”。这两句话存在关键差别:重试通常接在首次请求之后。作者故意写入两条supported与一条unsupported,让程序面对一个看起来有多数意见的分歧。

合并器输出disagreement并保留三条意见,不按多数票裁真。后续需要负责该判断的人重新核对;缺资料时可以继续保留分歧。

adjudications.synthetic.json中的合成裁决指出答案丢失“含首次”,记录unsupported。裁决者须使用不同ID,但这仍不能认证第三人身份。

裁决同时绑定清单、答案证据与review_set_sha256。后者覆盖按reviewer_id排序的全部原意见;标签、理由或人员变化后,旧裁决过期,不能盖住新异议。

仅当记录数量齐全、无unknown且存在已知冲突时才允许裁决。漏命题和缺记录不能靠裁决补齐。裁决后仍保留原意见与had_disagreement=true。

检查点 5:把第三条反对意见删掉,再跑出一致结果可以么?

不能,它删除了审核证据。应保留意见和有理由的裁决;正式流程还需原始记录与变更历史,不能只信最终JSON。

6.自己运行一次,不需要模型

以下展示 knowledge-assistant 示例目录内的调用方式,解释器路径需对应自备环境。先运行32项离线测试:

cd examples/knowledge-assistant
.venv/Scripts/python.exe -X utf8 -m unittest test_review_adjudication_lab -v

固定输入在fixtures/review-adjudication。原示例 README 的“答案复核与分歧处理”采用两次调用:第一条不带裁决,输出before.json;第二条通过--adjudications传入合成裁决,输出after.json。先比较两份summary,再查看分歧命题保留的reviews。

output已存在时,程序拒绝覆盖。重做请用reader-02,保留之前的文件。本地 validation/review-adjudication-demo 保存了本批结果,理解正文中的对比也能完成本节。

测试覆盖漏命题、重复键、未知ID、旧答案证据、缺行、重复意见和旧裁决,证明记账行为而非语义正确。原eval_generation.py的apply_reviews不变;本模块独立处理固定命题与多意见。

检查点 6:命令提示output已存在,怎么继续?

更换新文件或新目录后重跑,例如review-reader-02。不要为了得到一份漂亮结果覆盖原文件;旧失败、旧分歧和后来的修订应能分别找到。

7.读数字时,先找未知去了哪里

本次实际执行的是合成输入上的离线程序,结果如下。题次分母一直是6,命题分母一直是12;所谓“支持”始终只是作者合成标签的合并结果。

计数 裁决前 裁决后
记录已解决的命题 4 5
其中记录支持的命题 4 4
其中记录不支持的命题 0 1
未知命题,包含未解决分歧 8 7
已解决题次 1 2
未知题次 5 4

裁决解决了分歧,但得到不支持,所以记录支持题次仍为1。recorded_supported_fraction是1/6,分母为全部计划题次,不能写成模型准确率16.7%。只统计有答案的三题或已解决的两题,都会藏掉尚未完成的工作。

同时保留运行状态:3题有合成答案、1错误、1未回答、1缺行。超时不等于事实错误,没有数据也不等于通过。

检查点 7:裁决后未知少了一项,支持数一定增加么?

不一定。它可以明确“不支持”。本例已解决命题从4到5,记录支持命题仍为4;完成复核与答案质量改善是两个不同的变化。

8.真实交接,从空白开始

本模块没有导入真实模型答案。actual-results.empty.json的rows为空,配套 actual-review-template.empty.json的records也为空,表示尚无真实复核任务可填写。六题只是教学计划,不是新一轮真实模型评测的运行声明。

blank-form.synthetic-answers.json展示字段:绑定三段合成答案,每个命题一行,reviewer_id、verdict、notes均为null。它不能改名冒充真实记录;已填意见与裁决另存synthetic文件。

将来获得真实答案,先保存原文件并确认命题清单,再把答案、证据、状态与错误原样写入original_run_snapshot结果快照,用--blank-template生成模板。实际复核者自行填写;human_reported只是自报人工来源,系统未认证。AI观察须另存。

多人分别填表后合并records,每行仍对应一个命题与ID。缺证据就写unknown及原因;清单不完整则记录缺陷、另存版本,保留原判断,不能倒推一份恰好能通过的清单。

在“压力正确,却漏了授权”一行核对 unknown_propositions。清单中列出、但尚无复核意见的命题仍为未知。

检查点 8:完成本章后,可以向别人交付什么结论?

可以交付固定清单、合成输入、32项测试、裁决前后记录和空白真实模板,说明离线合并器如何保留缺项与分歧。不能宣称真实模型已通过、实际人工复核完成、复核者身份已认证或生产系统已经验收。

来源与范围

选题承接前一批已核查的语雀 19.怎么解决大模型幻觉问题,沿用事实与引用支持需分别检查的范围;113.大模型RAG评测面试题此前只读到标题与附件入口,未读取附件正文。本章没有新读取或复制附件,也没有移用来源案例的成绩。

命题清单、分歧故事、合成标签、裁决规则及代码为本项目原创教学实验。它处理已知清单上的记录一致性;领域真值、清单充分性、真实身份和独立人工审核仍需实际证据。

打卡记录保存在你的浏览器里,首页能看到总进度