StateBench: Testing how language models track state changes over long documents
TL;DR · AI 摘要
StateBench: Testing how language models track state changes over long documents Back to Articles 0 -1 Enterprise Article...
核心要点
- 主题聚焦:StateBench: Testing how language models track st
- 来源:Hugging Face Blog,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
StateBench:测试语言模型在长文档中跟踪状态变化的能力
返回文章列表
[0
[-1
企业
]
文章
发布于 2026年11月3日
点赞
6
[
Kyle Wiggers
Ai2Comms
关注
allenai
📄 技术报告 | 🤗 数据 | 💻 代码
我们推出了 StateBench,这是一个用于长上下文状态跟踪的基准测试——评估语言模型在长文档中跟踪实体信息变化的能力。
从阅读代码(变量被分配和重新分配)到跟踪故事中角色移动和物品变化,状态跟踪是许多任务的基础。例如,如果一部悬疑小说在谋杀发生前指出“约翰把刀给了玛丽”,那么了解每个角色状态的变化就非常重要。然而,并非所有状态跟踪问题都同等复杂:有些只需要找到最新更新;更难的问题则需要追踪变化链,其中任何一步的遗漏都可能导致最终答案错误。例如,我们悬疑状态跟踪任务的一个更难变体是:如果约翰从背包中给了玛丽一个物品,而此前已知爱德华将一把刀放入了约翰的背包。
Transformer 模型在处理具有长依赖链的硬状态跟踪任务时存在明确记载的理论限制,这促使了循环和混合架构(如 Gated DeltaNet)的发展,这些架构能够向前传递运行内存。现有的状态跟踪测试通常聚焦于最难的案例,但随着这些设计变得越来越普遍,研究人员需要了解每种架构能够处理哪些类型的状态跟踪。我们希望不仅在最难的状态跟踪任务上,还要在更简单且可能更常见的状态跟踪任务上,了解不同架构之间的差异。
为此,我们开发了 StateBench 基准测试,用于捕捉不同复杂度的状态跟踪问题,并利用它来评估不同架构的语言模型之间的差异。我们发现,当直接在这些任务上训练时,循环和混合模型在泛化能力上远超 Transformer 模型,但包括 Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol/Luna 在内的前沿模型在输入长度增加时,仍会在更难的状态跟踪任务上出现性能下降。
四个层次的状态跟踪
StateBench 包含四个难度等级,允许越来越复杂的状态更新操作。对于程序员来说,这些状态跟踪复杂度等级可以理解为允许不同类型的变量赋值操作:
- R-平凡问题使用不可变赋值。变量的值永远不会改变,因此模型只需恢复其最初被设置的值。在代码中,这类似于
let x = 4;;在日常生活中,就像出生日期——它始终保持不变。
- 非周期性问题允许通过值重新赋值。模型需要找到最新值并忽略早期值。在代码中,这类似于
x = 4后续被x = 2覆盖;在日常生活中,就像恒温器——最新设置决定了当前温度。
- 可解问题增加了自引用更新。每次更新都基于当前值,因此模型需要向前传递变化,而不仅仅是找到最新赋值。在代码中,这类似于
x = x + 5;;在日常生活中,就像游戏得分——每一分都会增加总分。
- 一般的有限问题会引入按引用赋值。一个变量可以获取另一个变量的当前值,从而在更新过程中形成依赖关系。在代码中,这表现为 x = y 或交换两个变量。想象一位魔术师将球藏在五个杯子中的一个下面,然后反复交换它们的位置。找到球意味着要跟踪这些交换如何改变其位置。这说明了 S₅ 状态跟踪问题:追踪连续交换如何重新排列五个对象。这个问题属于我们四个层级中最难的层级,此前有关状态跟踪极限的研究已对此进行过讨论。
这些层级可以通过变量赋值直观理解,但它们也代表了状态跟踪中理论驱动的区分,这些区分源于 Krohn–Rhodes 理论,这是代数的一个分支,描述了状态跟踪问题(可以视为有限单oid上的字问题)如何分解为原子原语。我们层级中的每一层都对应一类状态跟踪问题,这些问题可以通过不同的原语集合构建而成。
为了公平比较这四个层级,我们从一般的有限变量赋值序列开始,从中推导出三个更简单的版本,从而生成四个可比较的 StateBench 问题——每个难度层级对应一个问题。所有四个问题使用相同数量的变量和不同的值,赋值出现在序列中的相同位置;唯一不同的是赋值类型。
我们的发现
预训练模型
我们在 StateBench 的 r-平凡、无周期性和一般有限层级上测试了一系列开源预训练模型,以观察它们的状态跟踪能力在何处失效,以及不同架构是否在理论预测的失效点出现故障。在标准理论假设下,Transformer 能够稳健处理 r-平凡问题(并在一定程度上处理可解和无周期性问题),但理论上预测它们会在一般性问题上失败。相比之下,具有更灵活记忆更新机制的 Gated DeltaNet 原则上可以处理所有四个层级。
我们首先测试了开源预训练模型,这些模型的训练数据和上下文长度都有完整记录。其中包括两个 70 亿参数模型:Olmo 3(Transformer)和 Olmo Hybrid(增加了 Gated DeltaNet 层),以及参数规模更小的 2.75 亿和 27 亿参数模型。所有这些模型都使用相同的数据进行预训练;训练过程中没有模型接触过超过 64,000 个 token 的上下文,而我们在测试时使用的输入长度远超这个限制。
在对每个模型进行评分时,几乎所有模型在 r-平凡问题上表现良好,随着输入增长在无周期性问题上准确率下降,并在一般有限问题上保持随机水平。问题格式在这里产生了影响——2.75 亿参数的混合模型和 Gated DeltaNet 模型在 RULER 风格的 r-平凡问题上接近满分,但在以电子表格编辑形式呈现的相同问题上接近随机水平。这种差距正是 StateBench 以多种格式测试相同底层问题的原因之一。
前沿模型
随后我们测试了四个前沿模型——Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna——要求它们阅读每组变量赋值序列并生成每个变量的最终值。
所有四种模型在r-trivial和非周期性问题上表现良好。但在可解和通用有限问题上,随着输入长度增加,准确性急剧下降,在最长的通用有限问题上降至13%或更低。一个可能的因素是敏感性;在这些更难的层级上,更多步骤可能会影响最终答案,导致模型更容易因遗漏更新而得出错误结果。
直接针对任务训练的模型
接下来,我们研究了模型在更难层级上的困难是反映了架构本身的局限性,还是预训练阶段未能教会模型解决这些问题。有针对性的直接训练是一种更有利的设置,可以揭示状态跟踪问题在多大程度上源于底层架构和优化器,而非预训练数据。
我们在StateBench上从零开始训练了多个2.75亿参数模型:两种Transformer变体、两种混合模型,以及两种具有不同记忆更新约束的Gated DeltaNet变体。这些模型在最多256个任务分配的序列上进行训练,并在长达64,000个任务分配(即训练最大长度的250倍)的序列上进行测试。
随着序列长度增加,架构开始出现差异。Gated DeltaNet和混合模型在我们测试的最长序列(数万个任务分配)上,对r-trivial、非周期性和可解问题几乎完美泛化。Transformer模型虽然能学习较简单层级,但在更长序列上表现退化,且从未学会解决通用有限问题。在最难层级上,具有更灵活记忆更新的Gated DeltaNet变体泛化能力最强,在训练时看到的最长序列长度的约10倍范围内仍保持接近完美。
对于Gated DeltaNet和混合模型而言,这种差距指向训练方式而非架构本身;直接训练后,它们学会了处理预训练版本无法应对的状态跟踪层级。Transformer模型则不同——即使直接训练,它们也永远无法学会最难层级。
开放问题与发布
仍有一些问题有待解决。我们的新证明表明,具有更有限记忆更新(非负特征值)的Gated DeltaNet可以在论文中定义的固定精度算术(含四舍五入)下解决所有非周期性任务和某些周期性任务,例如跟踪重复输入出现的次数是奇数还是偶数。它在层次结构中的确切位置仍待确定,包括是否能解决所有可解任务,以及数值精度或与注意力层结合如何影响其能力。StateBench假设变量数量固定,而实际任务通常会随时间引入新实体。例如在长时间对话中,新的人物和物体可能随着对话展开而出现,模型也必须开始追踪它们。当前框架尚未涵盖这种场景。
随着新型循环和混合架构的不断出现,理解每种架构能处理哪些状态跟踪类型,有助于指导未来系统的开发和训练。我们希望StateBench能为研究者提供更细致的工具,找出模型失效的具体位置,并构建针对当前仍存在不足能力的训练和评估数据。更根本地说,我们希望它能成为研究者开发具有更强状态跟踪能力的新架构的指引方向。
本文提及的数据集 1
更多该作者的文章
我们能否信任LLMs来判断一个研究想法是否新颖?
18
2026年10月27日
LitPivot:通过文献景观中的动态情境化发展研究想法
39
2026年10月23日
社区
编辑
预览
通过将文件拖入文本输入框、粘贴或点击此处上传图片、音频和视频
点击此处粘贴以上传图片
评论
· 注册或登录以发表评论