拿一份真实的文档开刀:某客户的售后手册,六十页扫描版,夹着三张跨页大表、五张流程图,页眉页脚全是水印。工程师把它原样丢进知识库,结果客户问“保修期多久”,AI答得驴唇不对马嘴。问题就出在:非结构化文档喂给AI之前,解析这一关绕不过去——大模型读到的不是那份PDF本身,而是解析工具吐出来的一串文本,文本质量差一截,答案就差十万八千里。
为什么“直接塞进去”行不通
文字版的PDF和Word还好办,文本就在文件里,抽出来清洗一下就能用。麻烦的是扫描件:它本质是一张张图片,上面没有一个字符是机器可读的,必须先过OCR。OCR认出来的文字是流水账——双栏排版会被拦腰截断串了行,页眉页脚的水印混进正文,表格被拆成一行行支离破碎的数字。把这些原始文本直接入库,AI检索到的就是一堆被搅碎的语料,答不准是必然的,而且错得没有规律。OCR的错字还特别隐蔽:“退货”认成“退负”、“3000”认成“3OO0”,人眼扫一遍未必看得出来,AI却把它当真话学走了。判断一份文档解析得行不行,把OCR结果和原件抽样对比,错字率高于百分之一的,后面全流程都别想稳。
四类文档,四种处理方式
真正做过项目的人,会先给文档分类,再决定处理手段。下表是我们实践中的默认策略,可以直接参考。
| 文档类型 | 常见的坑 | 处理方式 |
|---|---|---|
| 文字版PDF、Word | 页眉页脚、水印噪音 | 直接抽取文本,清洗后切分 |
| 扫描件 | 无文本层,版面被打乱 | OCR加版面还原,关键页人工校对 |
| 表格类 | 跨页断行、合并单元格 | 表格结构重建,转成Markdown或结构化数据 |
| 图片、流程图 | 信息全在图里 | 多模态模型生成文字描述,或人工补写说明 |
流程图尤其是被遗忘的角落:安装步骤画在图里,没人转成文字,客户问到这一块,AI只能沉默或者瞎猜。
扫描件的OCR接口现在按页计费,千页几十到几百元(以2026年市场行情为参考),钱不是门槛,校对才是工作量所在。
表格单独立一段,因为它最容易出事
表格是文档解析里最难啃的部分。跨页的大表,上下两半被切成两份独立文档,谁也不认识谁;合并单元格还原错了,整列数据跟着错位。偏偏企业里最要命的文档全是表格:报价单、规格参数、财务对账。这类文档解析完必须抽验——对照原件核几个关键数字,错一个可能就是一起报价事故。我们碰过一个真实案例:报价单的跨页表解析后行错了一位,A产品的价格挂到了B产品头上,幸好上线前抽验对了出来,那单要是发给了客户,就不是返工能解决的了。表格识别这两年进步很快,但“很快”的意思是从八成错到八成对,剩下的两成恰好还在要命的领域里。我们的原则是:正文错了影响体验,表格错了造成损失,校对预算优先给表格。
解析之后,还有两步别省
一是清洗:去掉水印、页眉页脚、乱码和重复内容,把OCR认错的字修掉,尤其是数字、型号、金额这些错不得的字段。抽验比例按文档的重要程度定:普通资料抽一成就够,报价、合同这类金额相关的,逐页对。二是切分:按语义边界切,一段话说一个完整意思,别按固定字数硬切。解析决定上限,切分决定下限,两步的质量都够高,后面检索和生成才有得发挥。切分完最好再做一轮小规模试问:拿二十个真实问题打一遍,看检出来的段落是不是人期望的那段——比任何自动化指标都直观。这一整套在企业知识库方案里属于文档治理模块,是所有AI知识库项目的前置工程,跳过它的项目后来都回来补了课。
把你们手里最难啃的那份文档挑出来发给我们试试(电话 18616880101),扫描件、老表格都行——解析出来是什么样当场看,比听任何介绍都直观。