🏠 总目录📚 本教程 11q · 中文文档纠错到入库 ← →

智能体工程 · 11q

纠正过的候选,怎样才算能进入教学知识库?

读完能做的判断:先锁材料、逐行还原修改,并区分作者参考、人工复核与入库事实。

中文文档纠错到入库

⏱ 阅读约 31 分钟 · 动手实践另计

本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。

一句话带走:先保留原图与候选,再把每次纠错绑定到页、字段和参考;只有显式教学副本进入新库,检索命中也不替代可信人工验收。

从原图到可追溯检索

第 2 节区分候选、作者参考纠错和人工验收,第 4 节给出修改前后的记录,第 6 节演示实际的本地检索。处理链为原图 → 保存候选 → 独立作者参考 → 纠错记录 → 新教学库 → 带来源检索。

本章承接中文文档解析与字段复核与OCR复核交接与发布前校验。入库和ACL沿用文档入库与数据治理,检索沿用检索与RAG的小核心;这里不重新介绍分块或重写检索器,只把一份可追踪的纠错材料实际放进隔离教学库。

1. 看清原始候选里错在什么地方

原创检修卡写“状态:不得带电拆卸”,真实OCR输出却是“状态 : 不 得 带电 拆 伯”。顺序行末尾同样把“拆卸”识别成了“拆伯”。这不是置信度调高就会自己消失的问题:文字已经出现了错误。型号ZX-41、压力0.65 MPa、电流12.8 A仍可读,也不能因此把整份材料判成正确。

本章直接复用第十二批保存的Tesseract chi_sim、psm6实际候选,不重跑引擎。副本保留当时命令、语言包与引擎哈希、原始TSV和完整输出;PNG与候选的字节都与历史样本一致。只是在新夹具目录中复制了文件。旧候选的历史路径可能指向另一台电脑,程序使用示例中的当前PNG并比对哈希,不会为了让路径可用而改写原JSON。

先读候选,再读修订,指出发生过的修改;检索答案的读者也要找到这个环节,知道正文是直接识别还是后来纠错。

检查点1:这一轮又跑了一次中文识别吗?

没有。它使用保存的实际识别结果,OCR重跑计数是0。实际发生的是新建教学SQLite并调用core入库与检索。不要把“使用真实候选”和“本轮重新OCR”写成同一个结果;两者的配置、时间和证据位置不同。

2. 作者参考可以教纠错,但不能冒充人审

这里的参考来自作者在识别前声明的原创虚构设备文本。生成PNG时用的是这些文本,识别器只接收像素,参考没有进入OCR。现在为了学习纠错,我们公开使用作者参考,把错误字、空白和标点修正到已声明的文本。记录明确写fixture_author_reference与teaching_demo_only,表示只用于这一组已知原创材料的教学演示。

这个范围使练习有了可检查的答案,却使它不能证明未知真实文档的识别质量。作者知道应该是什么文本,也知道字段有哪些;生产扫描件通常没有这种答案。如果把本章修订结果叫“人工复核通过”,就掩盖了这个区别。程序不能从reference存在推断有人核对了像素,更不能从某个字符串推断复核者身份可信。

旧交接实验的两份真实保存候选,仍然是1份待复核、1份阻断;真实人工复核仍为0。新建一份作者参考教学修订,不改变旧清单、原复核模板和发布门槛。你可以比较新的教学结果与旧交接状态,但不应拿教学修订回填旧reviewer或checked。

检查点2:知道作者原文,就能把human_reviews改成1吗?

不能。知道参考答案只说明本练习有明确对照依据;没有真实的人类业务审阅过程、可信身份和验收记录。报告保留human_reviews=0、production_publication_allowed=false,让下一位读者不用猜测这个边界。

3. 先锁定材料,再讨论哪些字要改

修订记录同时绑定原图SHA-256、原候选封印和参考文件SHA-256。运行时检查示例冻结manifest、候选原sorted-JSON封印、实际PNG与修订封印。换成旋转图、改掉候选一句话、改掉修订正文,都不能沿用原绑定进入库。原图看起来相似但字节变化,也要当成不同证据处理。

哈希表示的是“这份内容与那份声明一致”。它不证明文件来自可信机构,也不证明任何人真的认真阅读过;如果一位攻击者能同时更换全部文件和哈希,教学校验本身没有身份认证机制来阻止。对此,本章使用公开有界的作者夹具,并一直保留教学审批标识和生产发布false,不能把一致性检查包装成可信审批系统。

在JSON里找到candidate_sha256和source_sha256,再看provenance.json核对来源。revision_sha256绑定整个修订,包括正文、字段和理由;范围、页码或字段关系变化,都需要新记录。

检查点3:文件搬到另一个目录会改变候选吗?

复制相同字节不会。程序读取新目录中的clean.png,核验它仍是候选绑定的PNG;候选中的历史绝对路径保留为证据,不用于打开文件。因此演示不依赖作者电脑路径,也不需要重写旧候选来适应新机器。

4. 修改记录要能还原每一行

这份卡共有六行:标题、型号、压力、电流、状态、顺序。修订逐行记录before、after、reason、page和field。即使某行只是合并空白,也记录这次规范化;状态与顺序行明确保留原来的“拆伯”,修改后为“拆卸”。错误没有从证据里抹去,而是从候选正文移到了可追踪的修改记录。

压力0.65 MPa与电流12.8 A以完整字符串保留,不换算、不四舍五入、不删单位。状态里的“不得”与操作顺序“先断电,再验电,最后拆卸”也保留。本练习不是通用纠错平台:它只接受这张卡、这四个字段和六条参考行。这样做能明确发现漏字段、错误数字单位和失去否定词的改写,不能据此声称任意中文安全说明都能自动纠正。

假设你将压力改成65 kPa,同时把结构化字段与正文都改成同一个错值。二者相互一致,但仍不等于作者参考的0.65 MPa;即使重新计算修订哈希,这个反例也被阻断。独立参考的价值恰好在这里:它不是从当前修订反向生成的“期望值”,所以两处一起写错不会自动过关。

检查点4:为什么不只保存“拆伯→拆卸”这一项?

还要知道它在哪一页、哪个字段、来自哪份候选以及修改依据。六行完整记录还可以发现某一行被悄悄漏掉。全局字符串替换很容易碰到另一个字段,明确before/after与索引范围有助于保留具体修改的含义。

5. 歧义表格留在库外

另一个保存候选来自参数表第2页。它包含ZX-43、ZX-44,也包含合并末行ZX-45/ZX-46与“待复核 共用上限”。末行没有明确数值和单位,适用型号也没有解释清楚。前面几行识别看起来准确,并不能替最后一行建立关系。把“共用上限”编成一个数字,会让数据库里出现原文没有支持的事实。

本章不尝试把该表格改造成可导入材料,整份表格候选在这个card专用教学入口被挡住。它保留在夹具里作为有来源的失败例;阻断不是丢弃证据,而是阻止尚未解决的关系传播到知识库。若未来要支持表格,应先声明页、行、型号、值与单位的对应范围,再由可信流程解释合并单元格,而不是删掉难处理的一行来缩小验收分母。

七个演示负例分别覆盖改候选、错数字单位、缺状态字段、未决关系、非教学审批、把原始候选冒充修订和歧义表格。每个负例记录reason与database_created=false,失败目标目录不会建立。你阅读summary.json时可以逐项看这些结果,而不用只依靠退出码推测是否偷偷写入了某个库。

检查点5:能不能先导入,再在答案里提醒“请复核”?

本练习选择先阻断。否则检索会把缺少关系依据的片段当成可用正文传播。七个负例实际入库均为0;对于表格,本章没有提供通用结构恢复或人工认可结论,不能用免责声明补齐缺失证据。

6. 用一个短命令实际走通

以下以 knowledge-assistant 为示例工作目录。只需Python标准库;保存候选演示不请求模型,不联网,也不需要再次安装OCR语言包。先选一个还不存在的输出目录,执行:

python -X utf8 ocr_ingest_lab.py --demo --output .runtime/ocr-first

命令显式给出demo与新目录,随后调用已有core.init、core.ingest和core.retrieve。输出根目录有summary.json,accepted里有纠错JSON、binding、纠错Markdown、result.json和新teaching.sqlite。入库结果为1份文档、1个块;三个查询“ZX-41 压力”“不得带电拆卸”“先断电 再验电”各找到1条上下文。负例结果另列在汇总中,没有创建对应数据库。

打开corrected-clean-page1.md,看正文是否仍保留压力、单位、否定词与顺序。再打开result.json,找到检索context的source、section和body:source指向纠错Markdown,section写原图clean.png第1页,binding保存原图与修订哈希。这些输出记录了真实的本地入库与检索。下一节说明权限和页码边界。

检查点6:重复执行原命令为什么会拒绝?

输出目录已经存在,程序拒绝覆写。换成ocr-second等全新目录即可重跑,不要删除旧证据来凑一个成功结果。不带参数只做只读夹具核验;只给output或只给demo都不能写库。这让默认入口保持安全,已有库也不被拿来做实验。

7. 找到正文,还要知道谁能看和它来自哪页

教学文档只允许ocr-teaching租户中的learner读取。真实core检索检查发现,陌生subject得到0条,另一个租户得到0条,缺knowledge:read则返回scope_denied。它们与正例用的是同一个SQLite、同一个文档,没有为测试另造一套检索器,也没有把权限逻辑写成“期望挡住”的演示文字。

这个小样例的正文通过Markdown进入core,因此数据库原生page列为null。页码不是从扫描PDF解析器自动恢复的,而是作者教学修订明确声明的原图第1页;它出现在section与binding中。阅读结果时要把这两者区分开,避免把带有“第1页”的标题误报成PDF原生页码提取通过。查看来源时按source找到纠错文件,再按binding找到原图、候选与对应修改。

core入库返回published也容易引起误读:它只表示新教学数据库完成一次本地提交。本章汇总同时写production_publication_allowed=false和human_reviews=0。真实生产发布还需要可信身份、业务语义、人工验收及批准记录;本实验没有实施这些流程,更没有把旧候选升级为已批准文件。

检查点7:三条查询命中,证明了什么?

证明本机这个隔离库的入库、分块、ACL和BM25检索实际工作,来源能回到指定纠错文件与作者声明原图页。它不证明模型能回答、不证明引用支持任意结论、不证明未知资料质量,也不证明权限配置已适用于真实企业。检索证据和业务验收有不同分母。

8. 留下可以复查的结论

本机实跑保存了RED/GREEN测试日志、演示summary及分离目录复现记录。最初13个聚焦测试在模块缺失时失败,实现后通过;补充真实换图、默认只读CLI与参数配对检查后,15项通过。把五个模块和对应夹具复制到另一个临时目录,不复制本项目output、OCR引擎或语言包,仍能实际生成1文档/1块并阻断7个反例。这是本机分离目录复现,不是任意新电脑验收。

你可以把自己的记录写成四句:使用保存真实候选,本次OCR重跑0;作者参考纠错后真实本地入库1份;三查询均回到纠错来源,权限反例被挡住;真实人工复核与生产发布仍未完成。如果以后替换图片或文本,先保存新证据与修改依据,再考虑是否扩大教学入口范围,不要通过改冻结参考让当前成绩变好。

本章沿用语雀106/112的标题附件入口选题,正文未读;文字、样例与结果为本站原创。复核回看11o,发布交接回看11p。接着用本例教学库做真实问答,见14f的复现步骤;教学成功不改变旧记录的人审状态。

检查点8:走神后只剩两分钟,先做哪件事?

打开summary.json,只看positive的documents/chunks、negative_cases的database_created和human_reviews/production_publication_allowed。再找一条corrections里的before与after,就能把“发生过纠错”和“仍未完成人审”重新连起来。暂时不用重跑,也不用从头读命令;保留已有证据,下次继续。

打卡记录保存在你的浏览器里,首页能看到总进度