Jerry Liu(@jerryjliu0)

One of the hardest parts around document parsing is parsing complex tables. Besides the task itself...

8.5内容质量
One of the hardest parts around document parsing is parsing complex tables.

Besides the task itself...

TL;DR · AI 摘要

解析复杂表格是文档解析中最困难的部分,ParseBench-2通过引入严重性策略,使错误评估更精准。

核心要点

  • ParseBench-2引入严重性策略,允许用户自定义错误权重,如金融场景中数字错误权重可设为25。
  • 表格错误被分为5个严重级别,最严重错误包括数字错误、小数点错位和列缺失。
  • 现有基准测试(如OmniDocBench)使用编辑距离或二进制测试平均值,难以区分严重错误和普通错误。

结构提纲

按章节快速跳转。

  1. 文档解析中最困难的部分是处理复杂表格,且难以量化‘好’的标准。

  2. 表格错误被分为5个严重级别,最严重错误包括数字错误、小数点错位和列缺失。

  3. ·ParseBench-2的改进

    ParseBench-2引入严重性策略,允许用户自定义错误权重,如金融场景中数字错误权重可设为25。

  4. 现有基准测试(如OmniDocBench)使用编辑距离或二进制测试平均值,难以区分严重错误和普通错误。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 文档解析与ParseBench-2
    • 复杂表格解析的挑战
      • 难以量化‘好’的标准
      • 严重错误的定义模糊
    • ParseBench-2的改进
      • 引入严重性策略
      • 用户自定义错误权重
    • 错误分类
      • 5个严重级别
      • 最严重错误:数字错误、小数点错位、列缺失

金句 / Highlights

值得收藏与分享的关键句。

  • 表格错误被分为5个严重级别,最严重错误包括数字错误、小数点错位和列缺失。

    — 正文

    ⬇︎ 下载 PNG𝕏 分享到 X
  • ParseBench-2引入严重性策略,允许用户自定义错误权重,如金融场景中数字错误权重可设为25。

    — 正文

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 现有基准测试(如OmniDocBench)使用编辑距离或二进制测试平均值,难以区分严重错误和普通错误。

    — 正文

    ⬇︎ 下载 PNG𝕏 分享到 X
#文档解析#表格处理#ParseBench-2#AI评估
打开原文

Jerry Liu 在 X 上的发言:“文档解析中最困难的部分之一是解析复杂的表格。除了任务本身具有挑战性外,要衡量‘好’的标准也很困难。最终,这取决于对下游知识工作来说什么是灾难性错误的直觉。* 格式差异(markdown 与 html 标签)是无害的 * 将表头行变成“数据”行也可能是无害的(任何人类/模型都可以将其识别为表头)* 在数字上交换符号,尤其是在财务报告中,影响更为严重。很难以可量化的方式定义“好”的标准。现有的确定性测试/指标(OmniDocBench/OlmOCR-Bench/ParseBench-1)使用某种形式的编辑距离,或对二进制测试的平均值,使得难以区分严重错误和正常错误。通过我们最近发布的 ParseBench-2,我们的解决方案是通过严重性策略调整任何确定性指标,你可以明确说明不同错误的好坏程度。* 例如,在财务场景中,丢失数字/交换符号是非常糟糕的!我们的默认严重性权重是 10,但你可能决定设为 25——该策略旨在让用户自定义。* 请查看下面的示例,突出说明这一点。你可以比较“真正有害”或“无害”扰动对几个不同基准(包括 ParseBench-2)的影响。我们有 330 多种错误类型的分类,其中很大一部分围绕表格错误,将其分为 5 个严重程度等级:* 最严重:数字错误、小数点错位、值交换、列缺失 * 中等严重:正文行重新排序、一个单元格拆分为两个等 * 无害:格式错误、html 标记 更多关于表格方法的详细信息,请参见博客/技术报告。博客:

llamaindex.ai/blog/introduci…

技术报告:

llamaindex.ai/files/parseben…

00:00

2026 年 11 月 14 日 下午 4:46

·

1,495

浏览量

7

2

22

8