Apple Machine Learning Research

Weighted State Souping for Efficient Long-Context Retrieval

8.5内容质量

TL;DR · AI 摘要

苹果提出加权状态混合方法,在长上下文检索中实现性能提升,适用于多跳问答和工具使用等场景。

核心要点

  • 加权状态混合方法使SSM在长上下文任务中性能提升显著
  • 该方法支持近常数编码成本的稀疏变体
  • 适用于多跳问答、工具使用等长时域场景

结构提纲

按章节快速跳转。

  1. 提出长上下文处理是SSM的关键挑战,现有方法在密集上下文中表现下降。

  2. 加权状态混合通过学习查询依赖权重组合缓存状态,提升长上下文性能。

  3. 在多跳问答和工具使用任务中验证方法有效性,稀疏变体保持性能。

  4. 提供状态混合有效性和失效条件的理论解释。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 加权状态混合方法
    • 核心贡献
      • 长上下文性能提升
      • 稀疏变体效率优化
    • 应用场景
      • 多跳问答
      • 工具使用
      • 变量追踪
    • 理论支持
      • 状态混合有效性分析
      • 失效条件讨论

金句 / Highlights

值得收藏与分享的关键句。

#State Space Models#Long-Context Retrieval#Apple Research#NeurIPS 2026
打开原文

用于高效长上下文检索的加权状态混合 - 苹果机器学习研究

研究领域

方法与算法

,

语音与自然语言处理

NeurIPS研讨会

内容类型

论文

发布日期

2026年11月

用于高效长上下文检索的加权状态混合

作者 William L. Tong†**, Aryo Lotfi, Emmanuel Abbe, Josh Susskind, Cengiz Pehlevan†, Eran Malach

查看出版物

复制Bibtex

本文已被NeurIPS 2026的"面向人工智能系统的个性化、对齐、长期记忆研讨会"(PALM)接受。

状态空间模型(SSMs)结合了快速推理、固定状态大小与具有竞争力的语言建模性能。最近提出了一种称为"状态混合"的程序,通过该程序SSM可以独立地对文档、工具定义或记忆记录等令牌块进行编码。生成的状态编码可以被缓存并重新组合,从而以较低成本构建下游查询的上下文。然而,状态混合和普通SSMs在处理长而密集的上下文时性能都会下降,这限制了它们在长时域任务中的实用性。为了解决这个问题,我们提出了加权状态混合,这是一种简单的方法,通过学习查询相关的权重来组合缓存状态。实验结果表明,该方法在单跳和多跳文档问答、针尖在干草堆中检索、变量追踪和工具使用等任务中显著提升了长上下文性能。我们的方法还可以进一步适配为高效的稀疏变体,在保持(有时甚至提升)性能的同时,使编码成本相对于上下文长度接近常数。我们还提出了简单的理论论证,说明为什么状态混合有效以及在什么情况下可能失效,并非正式地讨论了加权混合的优势。加权状态混合因此结合了可复用的上下文表示与选择性检索,为在大型文档、工具和其他形式的结构化上下文集合上进行语言建模提供了高效的方法,这些上下文正日益主导现代智能体工作负载。

  • †哈佛大学
  • ** 在苹果公司工作期间完成的研究

相关阅读与更新

递归语言模型与不确定性:自省式程序搜索在长上下文中的惊人有效性

2026年7月9日 研究领域 语音与自然语言处理

长上下文处理仍然是语言模型的核心挑战:即使拥有扩展的上下文窗口,模型通常仍难以可靠地提取、推理并使用长上下文中的信息。像递归语言模型(RLMs)这样的近期工作通过智能体方式将长上下文分解为递归子查询,通过推理时的程序交互来应对这一挑战。尽管前景看好,但RLMs的成功在很大程度上依赖于...

阅读更多

从无限到超越:工具使用在状态空间模型中解锁长度泛化能力

2026年3月27日 研究领域 方法与算法 , 研究领域 工具、平台、框架 会议 ICLR

状态空间模型(SSMs)已成为序列建模中Transformer的主要替代方案。它们的主要优势在于通过固定大小的内存和计算复杂度的线性扩展,实现了长上下文和长文本生成的效率。我们从一个简单的理论结果开始,表明SSMs无法准确解决任何"真正长文本"生成问题(我们正式定义的含义),这削弱了...

发掘机器学习领域的机遇

我们的机器学习研究每天都在取得新突破。

与我们合作 /