🏠 总目录📚 本教程 11o · 中文文档解析与字段复核 ← →

智能体工程 · 11o

原图里的型号和数值,候选文字读对了吗?

读完能做的判断:保留图像与参数,用明确空白口径和字段复核定位中文解析差错。

中文文档解析与字段复核

⏱ 阅读约 30 分钟 · 动手实践另计

本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。

本章保留第十二批的真实 OCR 候选与字段实验。接着动手可看11q · 中文文档纠错到入库,用作者参考纠错后写入独立教学库;原始识别结果保持不变。

一句话带走:中文 OCR 给出的是待复核候选;字符少错、字段正确、阅读顺序正确、表格行列对应正确,要用四份不同证据回答。

中文字段复核流程

对照清晰卡、旋转图与表格的原图和文字,解释清晰卡为什么只有 3/4 字段精确。安装所需语言包后可重跑实验。处理链为像素 → 候选 → 四维度比较 → 原图复核 → 另行发布。

本章为 OCR与人工复核 增加简体中文实跑。表格分块 仍只接人工确认结构;候选未送入该模块、知识库或模型。

1. 先看原图,别从“有文字”推到“读对了”

原创虚构检修卡写着 ZX-41、0.65 MPa、12.8 A、“不得带电拆卸”与“先断电,再验电,最后拆卸”。同一信息生成原生/图像 PDF、清晰/旋转 PNG。两页参数表重复表头:型号、值、单位。

四条明确行中,第二页有 ZX-44 | 0.0500 | MPa,尾零与单位保持原文。末行 ZX-45/ZX-46 对应合并的“待复核 共用上限”,未给数值/单位,适用型号不清;单独标记歧义,不能补零或复制上一行。

原图、预先写好的独立 reference.json、生成器与冻结 manifest.json 都在 fixtures/chinese-documents。参考只评分,不进入OCR、不选模式、不填复核表;公开原创样本不是未知盲测。

检查点 1:为什么原生 PDF 和图像 PDF 看着一样,解析结果不同?

显示页面可以靠文本对象,也可以靠一张整页图片。pypdf 读文本对象,不读取图片里的字。本轮原生 PDF 能提取,图像 PDF 提取为空;它们的视觉内容相同不代表内部结构相同。

2. 示例运行入口

以下以 knowledge-assistant 为示例工作目录。自己的 Python 与已有 Tesseract 是前提;固定夹具不需要额外生成,也不需要读者机器安装中文字体。以下只在项目目录准备依赖与语言包:

python -m venv .venv-chinese
./.venv-chinese/Scripts/python.exe -m pip install pypdf==6.10.0
New-Item -ItemType Directory -Path .runtime/chinese-documents-tessdata -Force
Invoke-WebRequest 'https://raw.githubusercontent.com/tesseract-ocr/tessdata_fast/87416418657359cb625c412a48b6e1d6d41c29bd/chi_sim.traineddata' -OutFile .runtime/chinese-documents-tessdata/chi_sim.traineddata
Get-FileHash .runtime/chinese-documents-tessdata/chi_sim.traineddata -Algorithm SHA256
./.venv-chinese/Scripts/python.exe -X utf8 chinese_document_lab.py --check
./.venv-chinese/Scripts/python.exe -X utf8 -m unittest test_chinese_document_lab -v
./.venv-chinese/Scripts/python.exe -X utf8 chinese_document_lab.py --output .runtime/chinese-documents-first

--check 只读环境,中文包 SHA-256 应为 a5fcb6f0db1e1d6d8522f39db4e848f05984669172e584e8d76b6b3141e1f730。语言包需另行准备;网络不可用时先保留获取失败,不能写成识别成功。Tesseract 不在 PATH 或常见 Windows 位置时,demo/check 用 --executable 指向已有引擎;测试可通过 TESSERACT_CMD 指定。依赖、语言包与引擎版本需要在复现前逐项核对。

输出目录必须全新,默认 .runtime/chinese-documents-时间;含八份候选、原TSV、文字、未填模板与汇总。重跑无bundled绝对路径依赖。

检查点 2:没有中文包时,十二项测试通过能证明什么?

缺引擎或项目语言包时,真实 smoke 明确跳过,其他结构与指标测试可以通过。跳过表示没运行真实中文识别,不能称中文 OCR 通过。本轮已取得语言包,真实 smoke 实际运行通过,八条完整实验另外保存。

3. 参数必须与原图一同留存

2026-10-12 在 Windows、Python 3.12.14、Tesseract v5.5.0.20241111 上,用同一简体中文包运行四图两模式。psm 3 自动分段,psm 6 假定统一文字块。官方 tessdata_fast 固定 commit 为 87416418657359cb625c412a48b6e1d6d41c29bd,许可为 Apache-2.0;不是只写一个会漂移的“最新版”。

记录保留引擎/包/原图哈希、命令、耗时、错误与原TSV/词坐标。复用既有PNG/TSV检查:10 MiB、两千万像素上限,模式3/6/11、超时最多60秒;demo固定3/6。

初轮八条全部失败:项目 tessdata 缺少 configs/tsv,引擎返回码0,但 stderr 写 Can't open tsv、stdout 给普通文字。严格TSV解析拒绝它。改为 -c tessedit_create_tsv=1 后恢复;未改系统,初轮与最终记录均保留。

检查点 3:返回码0为什么不是识别成功的充分条件?

还要核对实际输出格式、合法坐标与词项。初轮引擎完成了某种文字输出,却没有完成实验要求的 TSV 输出;它是环境/配置失败,不是八张图“识别为空”,也不计入字符成绩。

4. 字符误差先明确空白口径

本章 CER 是规范化字符编辑距离除以参考字符数。规范化采用 Unicode NFKC,并移除全部 Unicode 空白;保留大小写、标点、数字和尾零。因此 0. 65 MPa 与 0.65 MPa 在此字符口径相同,MPa 与 mpa 不同,“拆伯”与“拆卸”也不同。它回答字面误差,不回答格式空格是否合格;空分母返回 null,额外字符单列,CER 可以大于1。

最终八条均产生候选,零空输出、零运行失败。下面的零误差只描述本组原图和固定模式,不推出生产正确率。表格参考采用逐行顺序,包括每页重复标题与表头;合并末行文字进入字符参考,但不被伪造为明确数值行。

原图 psm 3 CER psm 6 CER 关键观察
清晰检修卡 0.035714 0.035714 两模式字段均3/4,但失败位置与原因不同
顺时针旋转卡 0.196429 0.982143 psm3仍丢失标签,psm6大量乱码
表格第1页 0 0.549020 psm6漏掉表头与明确数据行
表格第2页 0 0.362500 psm6只留下标题、合并末行与说明
检查点 4:两个模式CER相同,错误就相同吗?

不是。清晰psm3把“状态”标签弄坏,但状态句子仍在;psm6标签完整,却把“拆卸”写成“拆伯”。同样的字符编辑数隐藏着不同业务风险,要继续查看字段与原图。

5. 字段精确匹配要绑定标签

field_metric 只接受一条完整的“标签:值”行,逐项比较预先声明的型号、压力、电流、状态。同一标签出现两次返回歧义,不挑一个刚好匹配的值。别处出现 ZX-41 不能使“型号:ZX-42”得分。字段规则只用于测量固定检修卡,不能被推广成任意表单识别器。

清晰图的型号/压力/电流精确,状态失败。旋转psm3把“型号”与 ZX-41 分行,其他标签也破损;两个模式均字段0/4。关键词存在不能让待复核字段通过。

阅读顺序采用另一个更有限的代理:依次找“先断电”“再验电”“最后拆卸”的首次字面位置。全部存在且递增时,anchors_in_order 为true;缺任一个为null,交换顺序为false。清晰psm3与旋转psm3为true,但旋转字段仍0/4;它只能说明这三个锚点排列,语义正确性仍null。

检查点 5:锚点顺序true能证明整页阅读顺序正确吗?

不能。它不检查其他段落、遗漏条件、表头位置或词语归属。重复短语还可能让首次出现代理局限更明显。应把它读作可复查的字面测量,不能译成业务流程已验收。

6. 表格关联单独计,不凭零CER补关系

两页各有两条明确行,型号、值、单位都不同。我们在识别前声明单元格矩形,测量 OCR 词中心是否落在对应区域,再按横坐标拼接区域内词,逐格对比独立参考三元组。一整行三格全部精确才计一行。psm3为第1页2/2、第2页2/2;psm6两页均0/2。

这是已知金标准区域中的字面关联测量,没有从未知页发现行边界、解释合并关系或确认跨页表头。区域不能直接用到别的文档,位置对应不是通用结构恢复。

第2页歧义末行不在四条明确行的分母中,它不是一个被悄悄忽略的成功项。参考单独保留显示文字、未知value/unit和未接受关系,模板要求核对合并关系、适用型号与跨页表头。不得用已测四行的4/4去写“整表恢复率100%”。表格分块 仍等待可信结构输入。

检查点 6:零CER且所有明确区域正确,可以复制上一行单位到末行吗?

不可以。合并单元格可能改变适用条件,共用上限没有给出数字或单位。错误填充会制造原图没有的事实。保留未知并提出具体复核原因,才让下一步有可核对的边界。

7. 保留原 PDF 解析边界与复核责任

独立 PDF 观察直接调用现有pypdf与 core.parse,没有OCR兜底入库。原生PDF提取64字符,core生成第1页一个正文块;图像PDF提取0字符,两页扫描表格各0字符,core都拒绝 needs_ocr_or_page_review。PNG识别出字不能改写为核心PDF自动解析通过。pypdf官方提取说明

每条候选有一份绑定图片与候选哈希的复核模板,文字、数字单位、否定、阅读顺序、表格关系五项checked都是null,reviewer为空。没有AI审阅冒充人工,也没有独立人类签字。高置信度、哈希匹配、测试通过均不自动填写它;human_acceptance与semantic/table_relationship仍为null。

十二项测试覆盖指标、错配、模板、拒覆盖、冻结哈希与真实中文smoke。先失败后修复的测试证据与真实候选分开;模拟错配只检查度量器。

检查点 7:这次学习完成时,哪些事仍没有验收?

未知复杂布局、真实扫描器与照片、手写、任意跨页表格、末行关系、业务语义、模型辅助复核、独立人工复核与可信发布都没有验收。没有任何OCR输出进入知识库或模型问答实验。

8. 重新生成前,先确认你要改变哪份证据

生成使用本机 simhei.ttf,哈希在manifest,字体未分发。原生PDF嵌入子集,图片已有像素,重跑不需字体。重建才安装 requirements-chinese.txt、给 --font 一个有授权的中文TTF;无自动回退。换字体产生新图片和分数,应保存新修订。

下一次先取得目标扫描件授权,冻结原图、页码与独立参考,再分维度报告,保留环境/格式失败、缺字段和未签复核。官方语言数据、命令行与分段

语雀106/112在本轮只看见PDF附件入口,附件正文未读,因此仅作选题依据;本章实现与结果来自原创实验和官方资料,未移用第三方准确率。复核时在原图中找“拆卸”、在候选中找“拆伯”,并解释表格区域字段 4/4 为什么仍不能发布。

检查点 8:第二次运行怎样避免覆盖第一次错误?

给 --output 换一个新目录,保留先前原TSV、stderr、配置和哈希。修正命令、换字体或更换参考都产生新的实验条件,不能拿旧模板去批准新候选。

打卡记录保存在你的浏览器里,首页能看到总进度