智能体工程 · 11l
移除一段证据后,能解释模型为什么回答吗?
读完能做的判断:从同一快照重做消融,区分检索集合变化与模型因果解释。
检索证据消融与解释边界
⏱ 阅读约 28 分钟 · 动手实践另计
本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。
一句话带走:移除一份可见文档再检索,可以观察证据集合怎样变化;变化本身不能证明生成答案依赖了这份文档。
消融实验的检查项
先读干预与指标表,再运行实验,找出一个首位变化和一个首位保持的变体。最后核对权限、错误分母与哈希。
衔接:生成引用与查询诊断、重排与上下文预算实验、评测切片与成对比较。示例依赖 Python 文件、corpus 和 evaluation。本章只运行标准库与已有 SQLite 检索代码。
1.先写清楚解释对象
设备助手查 XR-200 功率,可能同时检出两种型号的手册。某条引用排在前面,不能说明答案生成器用了它。本章没有调用生成器,解释对象是检索结果。
三层问题分别记录:来源检查问“来自哪份可见文档”;局部干预问“移除后怎样变化”;解释验证问“观察支持多大结论”。引用合法不能升级成推理可信。
本实验按文档移除其全部分块,没有遮词、模型特征归因或内部推理记录,不能称为 SHAP、LIME、思维链解释或答案因果解释。
“移除 xr300 后首位改变”可以实际核对;“模型理解型号差异”没有对应的实验步骤,需要另做生成评估。
检查点 1:一次引用验证通过,能证明答案正确吗?
不能。本章验证的是引用结构、版本与权限来源,并未生成或验证答案。结果固定附带 semantics_unassessed=true,提醒读者语义仍未评估。
2.先限定可信身份,再取得快照
接口 analyze_case(db, identity, query, expected_doc_ids) 使用可信调用方指定的已有教学数据库与 core.Identity,不完成登录认证,不接受问题里的身份声明。
分析前检查 knowledge:read,无 scope 固定 scope_denied。tenant 和 subject 限定租户、读者;隐藏文档不参与消融,也不导出不可见候选数量。
SQLite backup 取得一致快照,基线与变体均来自它、使用同一身份。snapshot_scope=true 表示快照后的原库撤权不承诺立刻影响本轮实验;生产撤权语义需要另设计。
源库只读取。前后把每张表的行规范化、排序并计算逻辑哈希;runs 和 tickets 也要相同。文件布局或日志状态可能变化,本实验不以数据库文件哈希断言 WAL 字节不动。
检查点 2:快照权限能代表以后所有时刻的权限吗?
不能。当前 scope 在分析前检查,文档可见性在本次快照上使用。结果只说明这一轮的权限范围,不能承诺之后撤权实时影响已开始的实验。
3.每次从同一基线重新开始
真实检索固定 mode=bm25、k=3、context_chars=2400。基线取 context 中有序、去重的 doc_id,最多三份作为候选。分块数不等于文档数;隐藏文档不会成为候选。
每份候选单独复制快照,调用 core.delete_document(tempdb, identity.tenant, doc_id, revision+1),再用 core.retrieve 检索原查询。只在副本增加版本、删除分块,原库不删文档或改 ACL。
假设基线有 xr300 与 xr200。第一个副本只删 xr300;第二个副本仍从完整基线复制,只删 xr200。若第二次从第一个副本继续删,就同时移除了两份文档,测量的问题已经改变。代码和机械测试都检查每个副本开始时拥有同样的可见文档集合。
无命中或空库成功返回空基线、空 variants。没有对象就没有变体,不能把上限三写成“完成三个消融”,也不能改 query 填满数量。
检查点 3:删除第二份文档时,要继承第一次删除吗?
不要继承。每个变体从同一完整基线快照复制,一次只删除一份可见候选文档。这样才可以把每次前后差异对应到本次干预。
4.把集合变化与首位变化分开读
结果只保留安全的文档编号、版本、数值和固定状态。它不导出原始 query、正文、quote、title 或资料路径。基线引用在内存中交给实际 validate_citations 检查,导出时仅保留 validated 或 unavailable 状态。
| 字段 | 看什么 | 容易误读之处 |
|---|---|---|
| removed_doc_id | 本次移除的可见文档 | 不是“最有因果贡献的文档” |
| baseline_doc_ids / after_doc_ids | 前后有序、去重编号 | k 是分块上限,文档数可小于三 |
| added_doc_ids / disappeared_doc_ids | 新进入与消失的编号 | 新进入也可能是相关性弱的候补 |
| top_doc_changed | 首位编号是否不同 | 首位保持不等于证据全部保持 |
| jaccard | 集合交集大小除以并集大小 | 忽略顺序,双空约定为一 |
| gold_before / gold_after / gold_delta | gold 命中与召回前后差 | 不是生成答案的正确率变化 |
从 [xr300,xr200] 变成 [xr300],Jaccard 为二分之一,首位保持;反向移除 xr300,剩下 [xr200],相似度同样二分之一,却发生首位变化。两个数回答不同问题。
BM25 移除文档也改变候选集合、文档频率、IDF,平均长度也可能变化。剩余分数可一起改变。排序变化不能独立证明答案依赖被删文档;排序保持也不能证明它对答案毫无影响。
检查点 4:Jaccard 相同,意味着排名变化也相同吗?
不意味着。Jaccard 只比较集合,首位变化单独比较有序编号的第一项。两者都不能直接替代生成答案依赖关系。
5.先冻结 gold,再统计分母
evaluation/ablation-cases.json 有十二题,精确字段为 case_id、query、expected_doc_ids、tenant、subject。题号与查询唯一。安全 ASCII 编号有限长,gold 最多二十个、不重复;最多输入一百题。
query 必须是非空 UTF-8 字符串,最多两千字符。字节、布尔值、未知字段、重复 JSON 键和孤立代理字符会拒绝。gold 提前指定,不能按输出修改。
hit 表示是否命中至少一份 gold;recall 为命中的不同 gold 数除以 gold 总数。无 gold 时两项与 delta 都为 null,另计题数。若仍返回无关证据,需要另外评测拒答。
evaluate_cases 保留每题 ok/error。意外异常固定 analysis_failed,预计拒绝固定 rejected,不回显原文。错误留分母,gold 错误题计零命中;analyze_case 自身传播意外异常。
本次九道有 gold 的题命中八道,baseline_mean_hit=8/9,另有三道无 gold。二十三个变体不是二十三个独立问题。同一题的多个变体共享基线和参考资料,不能把它们当独立样本制造显著性结论。
检查点 5:错误题和无 gold 题都应该从报告删掉吗?
不应该。错误题保留,gold 错误题命中计零;无 gold 题单独计数,指标不可用。删除它们会改变评估问题和分母。
6.运行一次,留下可核对的摘要
以下是原示例父项目目录内的 PowerShell 命令。输出目录必须尚不存在,包括空目录;重跑需换新名字。
& '.\examples\knowledge-assistant\.venv\Scripts\python.exe' -X utf8 examples/knowledge-assistant/ablation_lab.py demo --output examples/knowledge-assistant/.runtime/ablation-reader-01
在示例 knowledge-assistant 目录内,使用 Python 的对应命令为:
python -X utf8 ablation_lab.py demo --output .runtime/ablation-reader-01
省略 --output 会在脚本旁 .runtime 创建唯一 UTC 目录。demo 在 TemporaryDirectory 中执行 lab.seed,随后清理数据库,保留指定目录的 summary.json。预计输入、IO、JSON 错误输出固定 JSON 并退出二;机械失败退出一。
summary.json 包括逐题 variants、参数、逻辑哈希、环境版本和代码语料哈希。审计用固定文件编号,不复制检索原文或资料路径。运行者负责输出目录;本实验不对抗文件并发替换或不可信目录所有者。
检查点 6:为什么重跑必须换一个输出目录?
为了保留上一轮数据与失败证据。已有空目录也拒绝覆盖,避免读者误以为旧摘要属于这轮代码。默认命令会自动创建唯一目录。
7.保留不理想结果,才能看到边界
十二题包含两种设备、多 gold、无 gold、英文同义表达缺口和权限正负对照,是公开教学 fixture,没有盲测或生产认证验收。
| 实际题号 | 基线与观察 |
|---|---|
| power-200 | 首位 xr300,gold xr200 仍在前三;hit 为一 |
| compare-models | 基线 xr300、xr200,分别移除,两个变体 |
| synonym-gap | nameplate wattage 未命中,gold xr200 的 hit 为零 |
| unknown-feature | 无命中,无 gold,零变体,指标 null |
| reader-negative | 普通读者没有 hr-private,但仍有其他检索结果 |
| reader-positive | HR 能检出 hr-private,正对照命中 |
| tenant-positive | 租户 B 仅检出 b-secret,可单独移除 |
power-200 的 hit 不能证明首位型号正确。reader-negative 权限隔离通过,却仍返回其他可见资料,不能保证拒答。应保留这些现象,再做生成与拒答实验。
实际二十三个变体中,十个首位变化、十三个首位保持。首位保持也不意味着无消融效果,被移除文档仍应从结果消失。故障注入检查另行标记 fault_injected=true,只用于验证错误留分母,不混入正式夹具的质量统计。
检查点 7:权限负对照返回其他资料,能说它回答了受限内容吗?
不能这样断言。应先检查受限文档是否泄漏。本实验没有生成答案;其他可见资料的误匹配是检索质量问题,不能据此编造答案或权限违规。
8.机械验收完成后,停在证据支持的位置
九项机械场景:单文档删除、独立副本、scope 拒绝、权限隔离、无命中、空库、错误留分母、源库不变,以及观察首位变化和保持。各有编号与结果,题数和变体数分开。
这些检查使用真实 SQLite、真实 seed、真实 retrieve 与真实 delete_document。只有异常分母采用有限故障注入。无网络测试还断言 socket 调用未发生,不能靠某个异常被吞掉来宣布离线运行成功。
复核先核对各表哈希、候选可见性和独立副本,再回算九个 gold 题的平均 hit、十二题与二十三个变体。通过说明机械路径符合约定,未证明模型解释忠实度。
用 power-200 复述一个变体和两个指标,分清首位、命中和答案正确。研究答案依赖需另设生成条件、参考答案与匹配评估,并保留检索记录。
检查点 8:九项机械场景通过,足以称为模型解释忠实吗?
不够。它们验证副本、权限、删除、统计与源库保护。本章没有调用模型,没有测量答案因果依赖,semantics_unassessed 仍然为 true。