Hugging Face Blog

XYBench: Helping with the problem behind the question

8.5内容质量

TL;DR · AI 摘要

XYBench是首个测试AI助手识别用户误解能力的基准,揭示主流模型在纠正错误假设时表现不足。

核心要点

  • XYBench包含8115个问题,覆盖编程和日常场景如烹饪、家居维修
  • GPT-5等五大模型均未有效纠正用户错误假设,坚持原方案
  • 基准测试可评估模型是否能解释方案失效原因并提供替代方案

结构提纲

按章节快速跳转。

  1. 提出AI助手需解决用户误解问题而非仅回答正确问题

  2. ·XYBench构建方法

    整合Stack Overflow等四类数据源构建8115个问题基准

  3. 主流模型未能有效识别用户隐含误解并提供替代方案

  4. 五类模型均倾向维持用户原错误方案而非纠正

  5. 为改进AI助手的错误识别和解释能力提供评估框架

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • XYBench基准测试
    • 构建方法
      • Stack Overflow数据
      • WikiHow生成问题
    • 测试发现
      • 模型未纠正误解
      • 坚持原方案
    • 研究价值
      • 评估错误识别能力
      • 改进解释能力

金句 / Highlights

值得收藏与分享的关键句。

#AI#基准测试#自然语言处理#Hugging Face
打开原文

XYBench:解决问问题背后的问题

返回文章列表

[0

[-1

企业

]

文章

发布于2026年11月13日

点赞

4

[

Kyle Wiggers

Ai2Comms

关注

allenai

📄 Paper | 🤗 Data | 💻 Code

真正有用的AI助手需要能够帮助那些提出错误问题的用户——而不仅仅是那些提出正确问题并提供足够细节的用户。我们发布了XYBench,这是一个包含8000多个问题的基准测试,用于评估AI助手如何应对基于误解的请求,例如询问如何让持续从纸杯蛋糕上滑落的糖霜变厚,而实际上真正的问题是纸杯蛋糕仍然太热,无法进行糖霜装饰。XYBench获得了EMNLP 2026最佳资源论文奖。

当某人询问的解决方法与其实际目标不匹配时,这种情况被称为XY问题:一个人希望完成X,假设某个特定方法Y会有效,并请求帮助解决Y。在纸杯蛋糕的例子中,用户过于执着于让糖霜粘附,以至于没有考虑到纸杯蛋糕的温度才是需要解决的真正问题。

XYBench由卡内基梅隆大学、NVIDIA和约翰霍普金斯大学的研究人员共同开发,揭示了大语言模型在解决问题方面存在的重要差距:识别用户请求是否基于隐含的误解,并适当引导用户转向解决实际目标的方案。我们基于8115个真实问题(涵盖编程和日常活动如烹饪和家庭维修),引入了一个基准测试,用于衡量模型是否能识别这些误解,并在回应中优先考虑有效的解决方案。

我们在XYBench上评估的模型——Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B和DeepSeek-V4 Pro——通常会为用户的问题提供解决方案,但其回答始终聚焦于原始的错误方法。与人类参考答案不同,这五个模型都不太可能引导用户远离该方法,转向更符合其目标的解决方案。

人们使用AI系统时具备不同的知识水平,可能并不总是知道如何最佳地解决问题。我们希望XYBench能帮助研究人员衡量模型改进是否使助手更擅长识别错误假设、解释为何提出的方案可能无效,并建议更有效的替代方案——即使用户不知道应该提出哪些正确的问题。

构建XYBench

我们从四个来源构建了XYBench:1557个来自Stack Overflow的问题,184个来自Stack Exchange的问题,102个手动整理的示例,以及6272个从WikiHow指南生成的问题。对于每个问题,我们识别了明确请求(Y)——用户明确询问的内容,以及目标请求(X)——可以从上下文中推断出的潜在目标。

对于公开论坛的问题,我们使用了三个得分最高的人类回答和可用的接受答案,以确定目标请求和可能的解决方案。我们过滤掉了那些回答明确请求被认为已足够的情况。对于WikiHow,我们使用Sonnet 4.5生成了围绕程序指南中合理误解的问题,然后对其进行优化,以包含足够的上下文信息,使专家能够推断出潜在目标,而无需明确说明。我们删除了那些回答字面请求就能基本解决问题的示例。

评估答案如何帮助

模型可能会花费数段文字推荐更强大的吸尘器,然后简短地建议检查软管是否堵塞。如果吸力减弱是由堵塞引起的,清除堵塞可能就能解决问题。

更有帮助的回答会意识到用户希望恢复吸力,并专注于诊断根本原因。这涉及语用学,即语言学中研究语境和交际意图如何塑造意义的分支。为了测试模型是否在回答中使用这种理解,XYBench衡量每个回答的三个方面:

  • 实用解决方案——记录模型的回答是否包含对明确请求(Y)和潜在请求(X)的解决方案,并分别检查这两者。
  • 实用强调——衡量模型的回答是否聚焦于明确请求(Y)、聚焦于潜在请求(X),或两者平衡。
  • 误判识别——衡量模型的回答是否引导用户关注潜在目标(X),同时避免或劝阻错误方法(Y)。

在XYBench中,Claude Sonnet 4.5担任自动裁判。它会分类每个模型回答中的具体建议,并评估回答的实用强调程度。

为验证Sonnet 4.5的判断,两名人类评审员独立评估了500个模型对XYBench问题的回答。评审员与裁判的判断一致率平均为:解决方案是否出现为97.5–100%,误判识别为84.6–93.3%,实用强调为74.2–79.8%。

实验结果说明

我们在单轮设置下对Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B和DeepSeek-V4 Pro进行了XYBench评估,每个问题仅生成一个回答。我们使用相同指标单独评估了人类参考答案。

在所有四个来源中,所有模型更倾向于包含对明确请求(Y)的解决方案,而非潜在目标(X)的解决方案。在Stack Overflow上,明确请求的解决方案出现在75–86%的回答中,而潜在目标的解决方案仅出现在59–71%的回答中。

对解决方案的简单提及并不等同于将其作为回答的焦点。以吸尘器为例,模型可能简短建议疏通软管,但将大部分回答重点放在购买更强大的吸尘器上。我们仍将这种回答视为包含对潜在目标的解决方案,即使模型强调了明确请求。我们单独衡量了整体强调程度:在Stack Overflow上,模型仅在35–41%的回答中主要聚焦潜在目标,在47–57%的回答中聚焦明确请求。在其余回答中,模型对明确请求和潜在目标的强调程度相似。

我们还测试了明确用户目标是否有助于提升效果。在一项“神谕”实验中,我们为每个问题同时提供了明确请求(Y)和潜在请求(X)。在Stack Overflow上,Sonnet 4.6对潜在目标解决方案的包含率从59%提升至67%,但误判识别率从47%下降至34%。在具有人类参考答案的来源中,该实验中的所有模型在误判识别方面仍落后于人类。明确意图有所帮助,但未能显著缩小与人类回答的差距。这表明:识别意图只是挑战的一部分——当意图与明确请求不一致时,模型还需要据此采取行动。

A separate experiment tested whether models could identify useful advice when judging responses instead of writing them. We gave the same five models, plus GPT-4.1, each question with two possible answers: one focused on the literal request and one explaining the misconception and addressing the underlying goal. On Stack Overflow, all six chose the goal-focused answer in 71–84% of cases. By comparison, only 35–41% of the answers written by the five models in our main evaluation primarily focused on the underlying goal. The results expose a gap between recognizing useful advice and producing it, which a multiple-choice test alone would miss.

What this means for evaluation

Researchers can use XYBench to test whether changes to prompting or training help models identify misconceptions, offer solutions to users’ underlying problems, and make those solutions the focus of their answers. Measuring each behavior individually lets researchers see whether progress in one also improves the others.

Future work could test which training methods help models act on inferred intent—AKA what users need and not just what they literally asked for. The XYBench currently covers English-language queries and mainly procedural problems; extending it to other languages, cultures, and conversational settings remains an open direction.

We hope XYBench enables researchers to build models that offer useful advice even when a user’s first question rests on a mistaken assumption.

Datasets mentioned in this article 1

More from this author

ToyBlocks: A controlled world for robot learning and evaluation

26

November 6, 2026

StateBench: Testing how language models track state changes over long documents

17

November 3, 2026

Community

Edit

Preview

Upload images, audio, and videos by dragging in the text input, pasting, or

clicking here

.

Tap or paste here to upload images

Comment

· Sign up or log in to comment