智能体工程 · 11o
原图里的型号和数值,候选文字读对了吗?
读完能做的判断:保留图像与参数,用明确空白口径和字段复核定位中文解析差错。
中文文档解析与字段复核
⏱ 阅读约 30 分钟 · 动手实践另计
本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。
本章保留第十二批的真实 OCR 候选与字段实验。接着动手可看11q · 中文文档纠错到入库,用作者参考纠错后写入独立教学库;原始识别结果保持不变。
一句话带走:中文 OCR 给出的是待复核候选;字符少错、字段正确、阅读顺序正确、表格行列对应正确,要用四份不同证据回答。
中文字段复核流程
对照清晰卡、旋转图与表格的原图和文字,解释清晰卡为什么只有 3/4 字段精确。安装所需语言包后可重跑实验。处理链为像素 → 候选 → 四维度比较 → 原图复核 → 另行发布。
本章为 OCR与人工复核 增加简体中文实跑。表格分块 仍只接人工确认结构;候选未送入该模块、知识库或模型。
1. 先看原图,别从“有文字”推到“读对了”
原创虚构检修卡写着 ZX-41、0.65 MPa、12.8 A、“不得带电拆卸”与“先断电,再验电,最后拆卸”。同一信息生成原生/图像 PDF、清晰/旋转 PNG。两页参数表重复表头:型号、值、单位。
四条明确行中,第二页有 ZX-44 | 0.0500 | MPa,尾零与单位保持原文。末行 ZX-45/ZX-46 对应合并的“待复核 共用上限”,未给数值/单位,适用型号不清;单独标记歧义,不能补零或复制上一行。
原图、预先写好的独立 reference.json、生成器与冻结 manifest.json 都在 fixtures/chinese-documents。参考只评分,不进入OCR、不选模式、不填复核表;公开原创样本不是未知盲测。
检查点 1:为什么原生 PDF 和图像 PDF 看着一样,解析结果不同?
显示页面可以靠文本对象,也可以靠一张整页图片。pypdf 读文本对象,不读取图片里的字。本轮原生 PDF 能提取,图像 PDF 提取为空;它们的视觉内容相同不代表内部结构相同。
2. 示例运行入口
以下以 knowledge-assistant 为示例工作目录。自己的 Python 与已有 Tesseract 是前提;固定夹具不需要额外生成,也不需要读者机器安装中文字体。以下只在项目目录准备依赖与语言包:
python -m venv .venv-chinese
./.venv-chinese/Scripts/python.exe -m pip install pypdf==6.10.0
New-Item -ItemType Directory -Path .runtime/chinese-documents-tessdata -Force
Invoke-WebRequest 'https://raw.githubusercontent.com/tesseract-ocr/tessdata_fast/87416418657359cb625c412a48b6e1d6d41c29bd/chi_sim.traineddata' -OutFile .runtime/chinese-documents-tessdata/chi_sim.traineddata
Get-FileHash .runtime/chinese-documents-tessdata/chi_sim.traineddata -Algorithm SHA256
./.venv-chinese/Scripts/python.exe -X utf8 chinese_document_lab.py --check
./.venv-chinese/Scripts/python.exe -X utf8 -m unittest test_chinese_document_lab -v
./.venv-chinese/Scripts/python.exe -X utf8 chinese_document_lab.py --output .runtime/chinese-documents-first
--check 只读环境,中文包 SHA-256 应为 a5fcb6f0db1e1d6d8522f39db4e848f05984669172e584e8d76b6b3141e1f730。语言包需另行准备;网络不可用时先保留获取失败,不能写成识别成功。Tesseract 不在 PATH 或常见 Windows 位置时,demo/check 用 --executable 指向已有引擎;测试可通过 TESSERACT_CMD 指定。依赖、语言包与引擎版本需要在复现前逐项核对。
输出目录必须全新,默认 .runtime/chinese-documents-时间;含八份候选、原TSV、文字、未填模板与汇总。重跑无bundled绝对路径依赖。
检查点 2:没有中文包时,十二项测试通过能证明什么?
缺引擎或项目语言包时,真实 smoke 明确跳过,其他结构与指标测试可以通过。跳过表示没运行真实中文识别,不能称中文 OCR 通过。本轮已取得语言包,真实 smoke 实际运行通过,八条完整实验另外保存。
3. 参数必须与原图一同留存
2026-10-12 在 Windows、Python 3.12.14、Tesseract v5.5.0.20241111 上,用同一简体中文包运行四图两模式。psm 3 自动分段,psm 6 假定统一文字块。官方 tessdata_fast 固定 commit 为 87416418657359cb625c412a48b6e1d6d41c29bd,许可为 Apache-2.0;不是只写一个会漂移的“最新版”。
记录保留引擎/包/原图哈希、命令、耗时、错误与原TSV/词坐标。复用既有PNG/TSV检查:10 MiB、两千万像素上限,模式3/6/11、超时最多60秒;demo固定3/6。
初轮八条全部失败:项目 tessdata 缺少 configs/tsv,引擎返回码0,但 stderr 写 Can't open tsv、stdout 给普通文字。严格TSV解析拒绝它。改为 -c tessedit_create_tsv=1 后恢复;未改系统,初轮与最终记录均保留。
检查点 3:返回码0为什么不是识别成功的充分条件?
还要核对实际输出格式、合法坐标与词项。初轮引擎完成了某种文字输出,却没有完成实验要求的 TSV 输出;它是环境/配置失败,不是八张图“识别为空”,也不计入字符成绩。
4. 字符误差先明确空白口径
本章 CER 是规范化字符编辑距离除以参考字符数。规范化采用 Unicode NFKC,并移除全部 Unicode 空白;保留大小写、标点、数字和尾零。因此 0. 65 MPa 与 0.65 MPa 在此字符口径相同,MPa 与 mpa 不同,“拆伯”与“拆卸”也不同。它回答字面误差,不回答格式空格是否合格;空分母返回 null,额外字符单列,CER 可以大于1。
最终八条均产生候选,零空输出、零运行失败。下面的零误差只描述本组原图和固定模式,不推出生产正确率。表格参考采用逐行顺序,包括每页重复标题与表头;合并末行文字进入字符参考,但不被伪造为明确数值行。
| 原图 | psm 3 CER | psm 6 CER | 关键观察 |
|---|---|---|---|
| 清晰检修卡 | 0.035714 | 0.035714 | 两模式字段均3/4,但失败位置与原因不同 |
| 顺时针旋转卡 | 0.196429 | 0.982143 | psm3仍丢失标签,psm6大量乱码 |
| 表格第1页 | 0 | 0.549020 | psm6漏掉表头与明确数据行 |
| 表格第2页 | 0 | 0.362500 | psm6只留下标题、合并末行与说明 |
检查点 4:两个模式CER相同,错误就相同吗?
不是。清晰psm3把“状态”标签弄坏,但状态句子仍在;psm6标签完整,却把“拆卸”写成“拆伯”。同样的字符编辑数隐藏着不同业务风险,要继续查看字段与原图。
5. 字段精确匹配要绑定标签
field_metric 只接受一条完整的“标签:值”行,逐项比较预先声明的型号、压力、电流、状态。同一标签出现两次返回歧义,不挑一个刚好匹配的值。别处出现 ZX-41 不能使“型号:ZX-42”得分。字段规则只用于测量固定检修卡,不能被推广成任意表单识别器。
清晰图的型号/压力/电流精确,状态失败。旋转psm3把“型号”与 ZX-41 分行,其他标签也破损;两个模式均字段0/4。关键词存在不能让待复核字段通过。
阅读顺序采用另一个更有限的代理:依次找“先断电”“再验电”“最后拆卸”的首次字面位置。全部存在且递增时,anchors_in_order 为true;缺任一个为null,交换顺序为false。清晰psm3与旋转psm3为true,但旋转字段仍0/4;它只能说明这三个锚点排列,语义正确性仍null。
检查点 5:锚点顺序true能证明整页阅读顺序正确吗?
不能。它不检查其他段落、遗漏条件、表头位置或词语归属。重复短语还可能让首次出现代理局限更明显。应把它读作可复查的字面测量,不能译成业务流程已验收。
6. 表格关联单独计,不凭零CER补关系
两页各有两条明确行,型号、值、单位都不同。我们在识别前声明单元格矩形,测量 OCR 词中心是否落在对应区域,再按横坐标拼接区域内词,逐格对比独立参考三元组。一整行三格全部精确才计一行。psm3为第1页2/2、第2页2/2;psm6两页均0/2。
这是已知金标准区域中的字面关联测量,没有从未知页发现行边界、解释合并关系或确认跨页表头。区域不能直接用到别的文档,位置对应不是通用结构恢复。
第2页歧义末行不在四条明确行的分母中,它不是一个被悄悄忽略的成功项。参考单独保留显示文字、未知value/unit和未接受关系,模板要求核对合并关系、适用型号与跨页表头。不得用已测四行的4/4去写“整表恢复率100%”。表格分块 仍等待可信结构输入。
检查点 6:零CER且所有明确区域正确,可以复制上一行单位到末行吗?
不可以。合并单元格可能改变适用条件,共用上限没有给出数字或单位。错误填充会制造原图没有的事实。保留未知并提出具体复核原因,才让下一步有可核对的边界。
7. 保留原 PDF 解析边界与复核责任
独立 PDF 观察直接调用现有pypdf与 core.parse,没有OCR兜底入库。原生PDF提取64字符,core生成第1页一个正文块;图像PDF提取0字符,两页扫描表格各0字符,core都拒绝 needs_ocr_or_page_review。PNG识别出字不能改写为核心PDF自动解析通过。pypdf官方提取说明
每条候选有一份绑定图片与候选哈希的复核模板,文字、数字单位、否定、阅读顺序、表格关系五项checked都是null,reviewer为空。没有AI审阅冒充人工,也没有独立人类签字。高置信度、哈希匹配、测试通过均不自动填写它;human_acceptance与semantic/table_relationship仍为null。
十二项测试覆盖指标、错配、模板、拒覆盖、冻结哈希与真实中文smoke。先失败后修复的测试证据与真实候选分开;模拟错配只检查度量器。
检查点 7:这次学习完成时,哪些事仍没有验收?
未知复杂布局、真实扫描器与照片、手写、任意跨页表格、末行关系、业务语义、模型辅助复核、独立人工复核与可信发布都没有验收。没有任何OCR输出进入知识库或模型问答实验。
8. 重新生成前,先确认你要改变哪份证据
生成使用本机 simhei.ttf,哈希在manifest,字体未分发。原生PDF嵌入子集,图片已有像素,重跑不需字体。重建才安装 requirements-chinese.txt、给 --font 一个有授权的中文TTF;无自动回退。换字体产生新图片和分数,应保存新修订。
下一次先取得目标扫描件授权,冻结原图、页码与独立参考,再分维度报告,保留环境/格式失败、缺字段和未签复核。官方语言数据、命令行与分段
语雀106/112在本轮只看见PDF附件入口,附件正文未读,因此仅作选题依据;本章实现与结果来自原创实验和官方资料,未移用第三方准确率。复核时在原图中找“拆卸”、在候选中找“拆伯”,并解释表格区域字段 4/4 为什么仍不能发布。
检查点 8:第二次运行怎样避免覆盖第一次错误?
给 --output 换一个新目录,保留先前原TSV、stderr、配置和哈希。修正命令、换字体或更换参考都产生新的实验条件,不能拿旧模板去批准新候选。