Jerry Liu(@jerryjliu0)

One of the hardest parts about building any benchmark that measures high-dimensional output is makin...

8.5内容质量

TL;DR · AI 摘要

构建高维输出基准需平衡粒度与人类偏好对齐,ParseBench-2和DPP通过细分维度和规则提升文档解析评估。

核心要点

  • ParseBench-2将文档解析拆解为6个维度330个场景,错误权重由人类定义(如数字错误扣10+分)
  • DPP通过LLM法官实现140规则516检查,每个规则均编码为法官提示
  • 两种方法均非完美但推动基准发展,当前迭代版本已发布

结构提纲

按章节快速跳转。

  1. 构建高维输出基准面临粒度与人类偏好对齐的双重挑战

  2. ParseBench-2通过6维度330场景划分实现精确评估

  3. ›LLM法官方案

    DPP采用140规则516检查项,每个规则由LLM法官编码

  4. 两种方案在粒度控制与评估方式上形成互补

  5. 基准构建需平衡人工定义与LLM判断的复杂性

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 文档解析基准构建
    • ParseBench-2
      • 6维度划分
      • 330测试场景
      • 人工定义权重
    • DPP
      • LLM法官评估
      • 140规则体系
      • 516检查项

金句 / Highlights

值得收藏与分享的关键句。

#文档解析#基准测试#LLM评估#技术挑战
打开原文

Jerry Liu 在 X 上的推文: "构建任何衡量高维输出的基准中最困难的部分之一,是在保持与人类偏好一致的同时实现粒度。这一点在文档解析中尤为明显。粒度是有帮助的,因为它能让你更精确地编码人类偏好。在文档解析中,不同文档维度存在许多错误类别:图表错误、表格错误、表单错误、布局错误等。粒度还能实现定制化——它能让你更好地选择最关心的维度并赋予更高的权重。你可以通过确定性指标或以大语言模型作为评判者来构建粒度基准;它们并非互斥: 1️⃣ 确定性:ParseBench-2 将解析拆分为 6 个维度和 330 个测试场景。每个维度的权重由人类定义的严重性决定(一个错误的数字应扣除 10+ 分,多余的 HTML 标记不扣分)。 2️⃣ 以大语言模型作为评判者:你也可以定义粒度指标,每个指标均由大语言模型作为评判者进行测量。我们的文档解析协议(DPP)包含涵盖 140 条规则 / 516 项书面检查的全面分类体系,每项均由评判者提示词编码!构建既精细又对齐的基准是一项挑战。没有免费的午餐;ParseBench-2 和 DPP 都不是‘完美’的,但它们在推进每个标准方面都做出了诚实的努力。我们正在推出更多迭代版本。敬请期待!ParseBench-2:

parsebench.ai

文档解析协议:

parseprotocol.com

00:00

6:21 PM · 2026 年 11 月 17 日

·

2,199

浏览量

12

3

26

4