GH-ESD: Grounded Hypothesis-Driven Error Slice Discovery for Instance-Level Vision Tasks
TL;DR · AI 摘要
GH-ESD方法在实例级视觉任务中显著提升错误切片发现效果，同时引入新数据集GESD，检测精度提升0.10。
核心要点
- GH-ESD在GESD基准上将检测任务Precision@10提升至0.73
- 方法结合LLM先验与视觉证据生成可解释的错误假设
- GESD数据集包含专家定义的实例级错误切片
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- GH-ESD方法
- 核心创新
- 假设生成+统计验证
- 实例级错误切片发现
- 技术组件
- LLM先验
- 视觉语言模型
- 统计趋势分析
- 应用成果
- GESD数据集
- 检测/分割场景支持
金句 / Highlights
值得收藏与分享的关键句。
GH-ESD在检测任务中Precision@10达到0.73，优于基线0.10
方法通过统计趋势分析验证实例级错误假设
GESD数据集包含来自检测/分割失败的专家定义切片
GH-ESD：面向实例级视觉任务的基于假设驱动的错误切片发现方法 - Apple 机器学习研究
研究领域
计算机视觉
,
工具、平台、框架
会议
ECCV
内容类型
论文
发布日期
2026年7月
GH-ESD：面向实例级视觉任务的基于假设驱动的错误切片发现方法
作者：张伟*，王超群*，管子轩，高平生，赵鹏飞，吴鹏，何思锋
查看出版物
复制Bibtex
视觉模型在语义连贯的子集（称为错误切片）上出现系统性失效，揭示了鲁棒性和评估的局限性。现有切片发现方法主要将切片建模为表示空间中的聚类或预定义属性的组合。虽然这种方法在图像级分类任务中有效，但对目标检测和分割等实例级任务而言，这种表述方式存在不足，因为实例级任务的失效通常源于上下文关系和空间定位的视觉模式。我们提出GH-ESD（基于假设驱动的错误切片发现），这是一个生成与验证框架，将切片发现重新表述为基于假设生成和统计验证的过程。GH-ESD利用大语言模型先验知识和基于视觉证据的关系失效假设构建假设，通过视觉语言模型在实例级别发现假设切片，并通过实例级别错误的统计趋势分析进行验证。我们还引入了GESD（基于错误切片数据集），这是一个新的实例级错误切片发现基准，提供由检测和分割失效衍生出的专家定义和空间定位的切片。大量实验表明，GH-ESD在基准测试中始终优于基线方法，在检测任务的GESD基准上，Precision@10提高了0.10（0.73 vs. 0.63），同时支持分割场景。GH-ESD识别出可解释的切片，有助于实现可操作的模型改进。
- 贡献相同。
相关阅读与更新
实例级任务参数：一种稳健的多任务加权框架
2021年6月24日 研究领域 计算机视觉 CVPR研讨会
近期研究表明，深度神经网络通过跨多个相关任务学习共享表征可受益于多任务学习。然而，此类系统的性能取决于训练过程中各种损失之间的相对权重。以往的损失权重方案假设实例对所有任务的难度相同。为了打破这一假设，我们让训练过程决定最优的...
阅读更多
用于无监督领域自适应的切片Wasserstein差异
2019年3月10日 研究领域 方法与算法 会议 CVPR
在本研究中，我们将无监督领域自适应的两个不同概念联系起来：利用任务特定决策边界和Wasserstein度量进行领域间特征分布对齐。我们提出的切片Wasserstein差异（SWD）旨在捕捉任务特定分类器输出之间的自然差异概念。它为检测目标样本提供几何意义明确的指导...
发现机器学习领域的机遇
我们的机器学习研究每天都在取得突破。
与我们合作