智能体工程 · 11i
扫描图片有OCR候选,何时仍要人工复核?
读完能做的判断:把原图、参数、候选和修订关联起来,保留模式差异与未确认项。
扫描件 OCR 与人工复核
⏱ 阅读约 26 分钟 · 动手实践另计
本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。
一句话带走:OCR 只把像素变成待核对的文字候选;看见文字、分数很高、复核表填齐,是三种不同证据。
识别与复核流程
运行实验后,在双栏和旋转页的失败记录中打开原图,对照数字、单位和否定。处理链为图片 → 识别候选 → 对照原图 → 复核记录 → 可信发布。本章完成前四步的实验接口,最后一步仍需要有责任边界的发布流程。
前一章 PDF 与表格解析 处理已有文本层的文件。本章为扫描图片另开入口;重排与上下文预算 负责候选取舍,表格分块与证据保真 负责已经人工结构化的表格。不要让这些后续环节替 OCR 猜字。
1. 先分清“有文件”和“有可用文字”
扫描页里的字是像素。一个 PDF 能在阅读器中显示文字,不代表文本提取器能读到它。复制为空、双栏粘成一行、表格顺序混乱,需要分开诊断。现有核心解析器保留拒绝扫描件和双栏的边界;新实验只读取 PNG,不改成遇到拒绝就悄悄 OCR 入库。
六张英文图片是原创虚构维修记录,包含清晰单栏、左右双栏、数字单位与否定、简单带线表格、顺时针旋转页和空白页。生成器、原图与参考文字一起留存。参考文本在识别前冻结,之后只用于计算字符误差和关键字符串保留,不参与识别、选择模式或复核决定。
检查点 1:为什么要单独保存原图?
OCR 文本无法证明原图中的数字、列关系和否定词。只留下文字会失去再次核对的依据。原图哈希还可发现复核记录对应的图片后来是否换过。
2. 运行入口先把实验边界说清楚
示例依赖对应夹具,以下命令展示测试与演示入口:
python -m unittest discover -s examples/knowledge-assistant -p test_ocr_lab.py -v
python examples/knowledge-assistant/ocr_lab.py
在示例 knowledge-assistant 目录内,对应命令为:
python -m unittest test_ocr_lab -v
python ocr_lab.py
模块与测试只用 Python 标准库,但真实识别需要已安装的 Tesseract 和相应语言数据。Windows 已有引擎时,可用 --executable 指定程序,或设置 TESSERACT_CMD。查找顺序是显式参数、该环境变量、PATH、已知 Windows 安装位置;明确指定的路径失效时不会偷偷换另一个引擎。本次实跑只有英文和方向检测数据,没有中文包。
默认结果保存在示例目录的 .runtime/ocr-日期时间/。指定 --output 时必须给新目录;已存在目录一律拒绝覆盖。每张图片的两个模式各有候选 JSON、原始 TSV 和未填写的复核模板,汇总在 summary.json。生成新夹具才需要 Pillow;使用已有冻结图片时,普通运行不需要 Pillow。
检查点 2:缺引擎时实验会安装什么?
不会安装。缺少现有引擎明确拒绝,缺少指定语言明确失败;不能把依赖错误算成空白页面成功。独立 smoke 测试只在引擎确实不可用时明确跳过,本次实际运行未跳过。
3. 保存候选,也保存它怎么产生
run_ocr(image_path, language='eng', psm=6) 返回可序列化候选。图片采用绝对路径,命令以参数列表交给 subprocess,关闭 shell。图片里的文字或识别出的命令都只是实验数据,不会被执行。
入口限制 PNG 不超过 10 MiB、尺寸为正且不超过两千万像素。分段模式只接收整数 3、6、11;超时必须是有限数值且在零以上、六十秒以内,布尔值不能冒充数字。语言标识必须合法并出现在引擎已安装列表里。错误 TSV、越界坐标、非法置信度、超时和非零退出均有失败原因,原始输出尽可能保留。
候选记录图片尺寸和哈希、引擎版本和程序哈希、实际命令、语言数据哈希、运行耗时、每个词的坐标与置信度。语言数据路径可取得时计算哈希;不可取得时诚实写 unknown。这些是追溯信息,不能因为有一串哈希就认为识别正确。
检查点 3:为什么不只保存平均置信度?
平均数可能把一个错误的关键数字藏在许多高分普通词中。复核需要每个词的位置、分数和原始 TSV,并返回原图确认。模型分数不是“这句业务规则正确”的概率。
4. 同一张图比较两个模式
Tesseract 的 psm 3 做自动页面分段,psm 6 假定一个统一文字块。分段假设改变的是怎样划分图上的内容,不是给语义正确性加保证。图片质量、倾斜和布局会影响结果;本实验固定原图,同时记录两种假设,不通过参考答案自动挑出赢家。官方命令行与分段说明
2026-10-11 在 Windows、Python 3.12.14 和 Tesseract v5.5.0.20241111 上实跑六图两模式,共十二条记录:九条文字候选、三条空结果、零条引擎或解析失败。下面的 CER 是规范化字符编辑距离除以参考字符数;大小写、Unicode 和空白规范化,标点保留。它仍可能大于一,插入大量错误字符时不能强行截成百分之百。
| 原创图片 | psm 3 CER | psm 6 CER | 保留的限制 |
|---|---|---|---|
| 清晰单栏 | 0 | 0 | 此图文字匹配,不推出通用正确率 |
| 左右双栏 | 0.472 | 0.472 | 两模式均左右逐行交错 |
| 数字、单位、否定 | 0 | 0 | 本图关键字符串全部保留 |
| 带线表格 | 0.013 | 1.000 | psm 3 把 0.8 A 写成 0.8A;psm 6 空结果 |
| 旋转页面 | 0 | 1.309 | psm 6 大量错字,关键短语均缺失 |
| 空白页面 | 不计算 | 不计算 | 两模式均零额外字符,空分母不假写零误差 |
这是公开的小型教学夹具结果,不是中文 OCR、多页扫描 PDF 或生产准确率。双栏模式结果一样,说明切换参数未修复这张图;旋转图中模式差异很大,也不能据此推断所有旋转件都能自动恢复。官方图像质量注意事项
检查点 4:关键字符串都在,双栏为什么还算退化?
原图参考顺序是左列完整读完再读右列,实际结果把每一行的左右内容接起来。字符和字段存在,不等于条件、步骤顺序和语义关系还正确。它们必须分别评估。
5. 空白输出不等于空白原图
表格在 psm 6 下没有任何词,接口明确返回 empty。这是“本次引擎没给出词”,不能说原图没有字。复核者看到这样的结果,要返回原图寻找漏识别,而不是为一份空候选签字。本图的参考文本非空,CER 因全部漏字为一;真正空白页则没有参考字符,CER 为 null。
初轮实跑还暴露了 TSV 细节:psm 3 把表格线输出为有边界框和置信度的空白词行。初版解析器把这些行当成非法词,明确失败并留下整份原始 TSV。修复先补行为失败测试,再验证所有行的坐标和有限数值,将合法空白图元留在原始输出中,仅非空文字进入词候选。初轮记录没有被覆盖。
最终表格文字中仍保留 0.8A 的空格缺失。没有通过修改参考或放宽关键字符串规则把它变成满分。更重要的是,识别出 Filter、12.5 kPa 和 Replace 也没有证明它们属于同一行同一型号。表格关系结果保持未验收,后续人工结构化步骤应继续核对原图。
检查点 5:可以把 empty 当成成功空页入库吗?
不可以。empty 描述识别输出,原图可能有大量漏字。失败也不能转成 empty;引擎退出、超时和解析错误单独记录,并且不计算成功 OCR 的字符成绩。
6. 先填写复核记录,再谈它证明什么
make_review_template(candidate) 生成五个全部未填写的项目:文字、数字与单位、否定、阅读顺序、表格关系。审查人初始为空,各项 checked 初始为 null,备注为空。模板本身不能通过完整性核验,高置信度也不触发自动填写。
对照原图时,可以先找风险最高的字段:12.5 是否多了或少了小数点,kPa 是否换成其他单位,NOT 是否漏掉,RX-10 是否接上另一型号。再查双栏的阅读顺序、表格的列标题和行关系。即使某项在当前单栏图片里不适用,也要明确写“不适用及原因”,而不是留空。
validate_review(candidate, review) 只检查记录结构和绑定:审查人非空,每项明确勾选并有文字备注,候选内容、原图和引擎配置哈希一致。发现换图、候选文本或配置修改、漏项和空白审查人,返回 needs_review。结构满足条件时只返回 structurally_complete。
检查点 6:structurally_complete 能否译为审核批准?
不能。它只说明这份绑定记录填齐了,不认证填写者身份,也不证明每句文字的意义正确。测试中填齐的模拟记录是结构夹具,不能被写成真正人工验收;候选自身仍是 needs_review。
7. 复核绑定保护的是“这一次”
一份复核记录对应特定图片和特定候选。改了图片、识别文字、词置信度、引擎版本或分段配置,原记录不能继续用于新候选。候选完整哈希覆盖这些记录字段,复核模板保存候选内容、图片与引擎配置绑定,验证还重新读取当前原图,防止拿旧图记录核验已更换的文件。
哈希是内容标识,不是签名。能同时控制候选和复核记录的人仍能制造一份新的匹配记录。实验没有可信审查人登录、外部签名、公证或持久审核台账。因此“结构完整”不能替代发布方的身份、权限、修订和审批规则。
当复核发现错字,需要形成更正后的版本及其证据,而不是悄悄改候选后沿用旧记录。这个实验不实现编辑、审批或发布服务;它提供一个拒绝错绑的边界,让后续流程知道还有什么未完成。
检查点 7:为什么不直接提供 core.ingest 快捷按钮?
候选和模拟复核还没有可信发布依据。自动入库会把待核对文字变成检索事实,让后续引用掩盖输入错误。应先确定审核责任、来源修订和权限,再通过另一个明确的发布步骤形成可信资料。
8. 用不同证据回答不同问题
限定单元测试覆盖非法路径、尺寸与有限配置、TSV 边界与 NaN、引擎超时与非零退出、原图变更、候选篡改、空模板和输出拒覆盖。故障注入验证模块怎样处理这些条件;独立 smoke 测试使用本机真实引擎识别清晰图。二十四项实际通过,不把注入返回值称成引擎识别表现。
十二条真实识别记录回答的是“这组公开图片在本机两种模式下出了什么结果”。CER 与关键字符串回答字符和字段是否保留。复核结构测试回答记录是否填齐并对应当前证据。业务语义、表格关系和人工验收字段仍为 null;这些实验没有证明它们已经正确。
复核时对照原图与候选,找出一个单位或否定词。结合记录解释双栏顺序错乱、旋转页使用 psm 6 时退化的原因,以及空模板不能发布的原因。
检查点 8:下一次真实验证应加什么?
收集有使用授权、保留原图和独立人工参考的真实扫描件,按文字、数字单位、否定、顺序和表格关系分别复核。冻结参考后再测,记录缺失和退化,不拿本章公开六图的成绩代替目标场景的验收。