视觉模型直接读 PDF vs 先 OCR 再问答:一次长文档实测
Vision-capable LLMs vs. OCR for long-document (including charts, images, tables, etc.) QA
作者用 Claude Sonnet 4.5 跑了 MMLongBench-Doc 里的 30 份带图、带表格的 PDF,共 171 道题,对比两种路线:让模型直接看 PDF 画面,和先用 OCR 把文档转成文字再喂给模型。直接看 PDF 的准确率只有 52.0%,在六套方案里排第五,每次查询成本 0.2552 美元。
推荐理由:作者用 Claude Sonnet 4.5 在 MMLongBench-Doc 的 30 份带图表 PDF 上对比直接读画面与先 OCR 再问答,直接读的准确率为 52.0%,单次查询成本 0.2552 美元。