🏠 总目录📚 本教程 14b · 数据集泄漏检查与冻结验收 ← →

智能体工程 · 14b

公开冻结题,就等于未知盲测吗?

读完能做的判断:区分开发、冻结和未知测试,按来源与相似性检查泄漏。

数据集泄漏检查与冻结验收

⏱ 阅读约 32 分钟 · 动手实践另计

本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。

一句话带走:先确认题集之间有没有重叠,再确认运行用的是哪一份文件;这两项都不能替模型回答质量签字。

实验范围与运行命令

用 summary.json 的两组审计、original_before / original_after 和临时副本的三个失败记录核对冻结验收。本章使用已有虚构知识助手资料和新写的边界夹具,只读真实题集,不启动生成模型。

先看 评测 Evals。答案验收见 生成引用与查询诊断;查询变化见 查询改写与多轮检索;训练资料用途见 LoRA 从数据到验收。

示例依赖 evaluation 和 corpus 目录,命令如下:

python -m unittest discover -s examples/knowledge-assistant -p test_dataset_audit_lab.py -v
python examples/knowledge-assistant/dataset_audit_lab.py

在示例 knowledge-assistant 目录内,对应命令为:

python -m unittest test_dataset_audit_lab -v
python dataset_audit_lab.py

原示例环境中可将 python 替换为 examples/knowledge-assistant/.venv/Scripts/python.exe;自备环境使用 Python 3.10 或更新版本。本模块只用标准库,不安装依赖、不联网、不调用模型。

默认新建 .runtime/dataset-UTC时间;--output 新目录 拒绝覆盖。输出保留审计、边界场景、冻结核对和环境记录。

公开开发、公开冻结和未知测试是三件事

现有 evaluation/dev.json 有 20 题,用于开发。evaluation/public_frozen.json 有另外 20 题,是公开冻结题集。原来的 corpus/questions.json 有 20 题,是旧开发材料。模块把它显式标为 legacy_public_dev,不会根据文件名替它获得独立测试资格。

公开冻结表示这一版本的题目和参考字段被固定下来,方便重复核查;读者已经可以看到它们。你看过它的错误后,再针对这些题改查询、提示或检索规则,它就参与了开发。换一个文件名,或者把它复制到另一目录,不会让这些信息重新变得未知。

未知保留集需要未参与调参的新文档与问题簇,以及独立保管。本示例没有这种保留集。未命中重复,只说明有限规则没有找到信号。

记录 能帮助确认什么 仍需另外核对什么
规范化完全相同问题 两份 split 有文字重叠 是否影响某个具体评测结论
同来源文档或问题簇 同范围资料被两侧复用 分割规则与使用目的是否合适
近重复提示 某对问题值得人工对照 语义是否相同、条件是否改变
字节冻结一致 预期集合内文件与清单一致 答案是否正确、系统是否可靠

先写清楚题集用途。若声称按文档隔离测试,就要解释同来源为什么跨侧出现。脚本列出重叠事实,不替你决定分割目的。

每道题先变成可审计的记录

read_cases 适配已有数组,保留题集、来源、ID、split、问题与来源字段。不将人工答案提示带入报告,也不靠参考答案合并问题。

ID 必须非空且同题集唯一;定位时附题集名称。split 缺失或未知报错。旧 group 格式须显式覆盖为 legacy_public_dev,不能覆盖为 test。

tenant 字段冲突会被拒绝。来源文档必须是字符串列表;空列表合法,缺失则未知。有答案、无答案、无权回答分别计数,旧题缺回答资格时记 unknown,不从参考文档猜资格。

已有格式默认 namespace 为 knowledge-assistant,新数据可显式指定。两个独立资料库应有不同 namespace;它是审计标签,不是运行时授权检查。

完全相同、同来源、近似文字分别看

完全相同问题使用 NFKC、大小写折叠和空白折叠。全角字母与半角字母、多个空格与一个空格可以归到同一文字形式,但数字、负号、否定和标点不被删除。220 与 221、-20 与 20、C++ 与 C 不能合并成同一道题。

文字完全相同可跨 tenant 告警,答案仍可能不同。来源文档与簇只在 namespace/tenant 都相同时比较;两个租户都叫 policy 的文档不能仅凭 ID 判同来源。

gold_doc_ids 交集和相同 cluster_id 是两种告警,分别计数。一对题可能同时产生文档和簇告警,所以强告警条数不是重复题数,也不是失败题数。缺 tenant、簇或来源文档字段时,报告保留 missing_provenance,不能把无法比较说成没有泄漏。

近重复用 SequenceMatcher 比较字符序列,默认阈值 0.9。字符相似度无法判断句子是在追问、否定,还是改变适用条件。

新增场景里,“设备进行清理时需要断电吗?”和“不需要断电吗?”会在 0.8 阈值下触发人工提示。数字改变、负号改变和 C++/C 也可能触发近重复;完全相同检查仍将它们区分。人工复核要读原题、条件与出处,不能看到高分就删除其中一道。

接口拒绝 bool、NaN、无穷大和范围外阈值。最多 1000 题,每题最多 4000 字符。改变阈值时另存报告;不为减少告警去重写题目或 gold。

实跑:40 题与加入旧题后的 60 题

2026-10-11,在 Windows 11 与 Python 3.12.14 主示例环境运行,阈值为 0.9。审计真实读取文件,没有启动数据库检索或生成。下面的数量来自本次输出,不能替代新文件的新运行。

组别 题数 强告警 近重复人工待查 来源未知
dev20 + public_frozen20 40 0 0 0
再加入 legacy20 60 64 0 20

现有 40 题包含 33 道有答案、4 道无答案、3 道无权回答题。两侧没有命中本次完全相同、文档来源或簇规则,近重复也没有达到阈值。它们仍分别标为公开开发与公开冻结;这份结果没有给出未知盲测或泛化证据。

加入旧题后,64 条强告警全部是来源文档的跨 split 复用,没有完全相同问题或簇重叠告警。旧题缺簇字段,因此 20 条都保留来源未知;旧题的回答资格也保留 unknown。即使问题换了措辞,同一个文档仍可能被多个题目引用,告警会按题对出现。

在 with_legacy.json 按题集名称和 ID 找题对,再回源文件检查。报告只留定位字段与哈希,不复制完整问题或人工答案。告警数量不能换算成模型准确率。

新增 evaluation/audit-cases.json 包含 15 个原创边界场景:12 个审计场景,以及删清单项、未知清单格式和根外路径 3 个冻结场景。每个都有预期的规则结果。本次全部符合夹具契约;这只验收审计程序的行为,不是任何模型的评测通过率。

冻结要同时核对字节和允许的集合

freeze_inputs(paths, root=..., output=...) 接收你明确给出的输入文件。清单保存根目录内相对路径、字节数、schema 和字节 SHA256,按路径排序;相同文件集合不受传入顺序影响。它识别已有题集 JSON、语料目录清单 JSON 和 UTF-8 Markdown,未知 JSON 格式会被拒绝。

根外路径、缺文件、空清单、重复路径与文件别名不能被冻结。输出须是新文件,不能覆盖输入。相对路径让同一集合复制到另一个受控根目录后仍可核对。

只对清单列出的文件算哈希还不够。攻击者可以把被改过的文件从清单删掉,再让剩余项全部匹配。verify_frozen(manifest, root=..., expected_paths=...) 必须另给允许输入集合;它比较清单集合与预期集合,随后对交集检查字节与格式,不依外部清单打开任意路径。

实际冻结集合包含 dev 与 public_frozen 两份题集、语料 manifest 以及其中 12 个受控 Markdown,共 15 个文件。旧 20 题参与另一组审计,但不被偷偷加入这份 40 题冻结范围。旧题的单独文件哈希仍保存在环境记录中。

运行先核对原集合,再复制到输出目录的 tamper-copy,只修改副本。副本原样匹配;追加一段字节后检测到 content_changed。删掉清单的公开冻结题集项后检测到 manifest_omission;新增一个预期文件但不更新清单,也检测到遗漏。最后重新核对原集合,仍然匹配。

后两个副本验证保留此前内容变化,错误列表可能有两条。三个更小夹具分别隔离清单删项、未知格式和越界路径拒绝。

SHA256 清单不是数字签名。有权限的人可同时重写输入和清单。正式保留集需要另存可信基线、权限与审计过程;本章没有这种组织保证,也不证明答案正确或授权可靠。

验收边界留下来,才能继续改进

本模块保存 行为 RED(examples/knowledge-assistant/validation/dataset-red-20261011.txt)、边界 RED(examples/knowledge-assistant/validation/dataset-boundaries-red-20261011.txt) 与 GREEN(examples/knowledge-assistant/validation/dataset-green-20261011.txt)。18 项测试中 17 项通过、1 项跳过;硬链接别名拒绝已实际验证,Windows 本次不允许创建符号链接,所以原生符号链接路径没有实测证明。

实际摘要(examples/knowledge-assistant/validation/dataset-demo-20261011/summary.json) 与 原始运行日志(examples/knowledge-assistant/validation/dataset-demo-raw-20261011.txt) 保留配置、题集和代码哈希、计数与冻结核对。清单为 examples/knowledge-assistant/validation/dataset-demo-20261011/frozen-inputs.json,代码为 examples/knowledge-assistant/dataset_audit_lab.py。

本章没有模型答案或完整人工语义验收。确认输入后,仍按 apply_reviews 协议逐命题核对事实、引文、拒答、ACL 和注入抵抗。测试集错误应记录分析,不能用它反复选择最佳参数。

走神救援

只记四步:题集用途 → strong 与 unknown → 人工提示的原题 → 冻结集合与字节。40 题没有告警,读出“公开冻结,有限规则未命中”;加入旧题后,先查来源复用与分割目的。

在 freeze-verifications.json 中找一个 ok=false 的副本记录,核对相对路径和错误类型,并确认两个 original 记录仍为 true。保留原失败日志。

折叠自检

检查点 1. 公开冻结题集等于未知盲测吗?

不等于。公开材料已可被查看;若根据它改参数或规则,它参与开发。未知保留集需要新的隔离来源和独立保管。

检查点 2. 旧 20 题能把 split 改成 test 就算独立吗?

不能。读取时只允许显式标为 legacy_public_dev,不改原文件,也不宣称它独立于已有开发资料。

检查点 3. C++ 与 C 会被规范化合并吗?

不会。只折叠 NFKC、大小写和空白,保留加号、数字、负号、否定与标点。相似度高仍只能提示人工核对。

检查点 4. 两个 tenant 的同名文档都叫 policy,是否是同来源?

不能只凭局部 ID 判断。来源比较要求 namespace 与 tenant 都相同;完全相同的题目文字仍可跨范围提示。

检查点 5. 60 题出现 64 条强告警,说明 64 道题答错了吗?

没有答题过程。这些是按题对统计的来源文档复用;一题可以参与多个题对,告警不是模型失败数量。

检查点 6. 缺 gold_doc_ids 与合法空列表一样吗?

不一样。缺失意味着来源信息未知;空列表是明确没有参考文档。有答案、无答案、无权回答与资格未知还要分别记录。

检查点 7. 验证清单里每个哈希都匹配,为什么还要 expected_paths?

有人可能删掉清单项,使剩下的全部匹配。独立预期集合会检测删项和新增遗漏,并限制能够被读取的文件范围。

检查点 8. 文件冻结匹配是否完成模型验收?

没有。哈希只确认输入字节和集合,也不是签名。模型事实与引文语义等仍按原人工协议核对,符号链接原生行为本次也未验证。

来源与采用范围

语雀 Y04:大模型微调流程 的数据准备、划分与版本管理提供本章方向;本章重新设计审计接口和原创边界夹具,不照搬固定比例或调参配方。scikit-learn 官方 Common pitfalls 用于核查隔离测试数据的原则:不要用测试数据作模型选择,预处理的学习过程只用训练数据。本章不运行 scikit-learn,也不把字符告警说成官方模型质量结论。

打卡记录保存在你的浏览器里,首页能看到总进度