Alibaba出品:OmniParser通用文档复杂场景下OCR抽取

作者

本公众号主要关注NLP、CV、LLM、RAG、Agent等AI前言技术，免费分享业界实战案例与课程，助力您全面拥抱AIGC。


三大OCR任务统一抽取

  • 文本识别

  • 关键信息提取

  • 表格识别

Omniparser框架以及核心思想

作者采用基于文本中心点的连贯输入和输出模式，在两个阶段，将同一文本划分为三个部分：

  • 在stage1阶段：

    • 结构中心点序列化（Structured points）:即标记重要信息区域的中心位置，并打上标签

  • 在stage2阶段：

    • 多边形区域序列化（Polygon）：定位Structured points，得到文本的多边形区域

    • 文本内容序列化（content）：定位Structured points，得到文本内容

通过两阶段、三种序列方式可以有效地压缩原始的长序列。

此外，该框架使用空间和字符导向的窗口提示，增强对文本空间排列和单词语义的理解。

通过上图表格解析任务，我们可以知道omniparser的OCR解析流程。

  • 首先，对图片进行编码(image encoder)

  • 然后，在stage1，利用视觉模型对表格、文本内容、重要信息进行中心点定位

  • 接着，在stage2，将定位的区域，经过区域解码（region decoder），得到polygon Sequence

  • 同时，在stage2, 将定位的重要信息，进行文本内容序列化解码（content decoder），得到文本内容content sequence

  • 最后，综合polygon Sequence和content sequence二者的信息，生成文本的定位信息（text spotting）、表格的序列信息（table recognition）和重要信息（key information extraction）

https://arxiv.org/pdf/2403.19128

https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/OCR/OmniParser

（文：PaperAgent）

欢迎分享

发表评论