Apple Machine Learning Research

On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models

8.5内容质量

TL;DR · AI 摘要

本文揭示了门控机制在状态空间模型(SSMs)中对记忆学习和上下文学习的双重影响,解释了其在长序列任务中的性能瓶颈。

核心要点

  • SSMs的门控机制导致优先记忆学习,延迟上下文学习收敛
  • 门控机制在长序列泛化中表现有益
  • Apple研究指出SSMs在大规模语言建模中因上下文学习不足而受限

结构提纲

按章节快速跳转。

  1. 介绍SSMs作为Transformer的替代方案及其在上下文学习中的局限性

  2. 分析门控机制如何导致SSMs优先学习记忆解决方案

  3. 通过理论和实验证明门控机制对收敛模式的影响

  4. 揭示门控机制在长序列任务中的积极作用

  5. 总结门控机制对SSMs训练动态和泛化能力的关键影响

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 门控机制在SSMs中的作用
    • 记忆学习
      • 优先收敛模式
    • 上下文学习
      • 收敛延迟/受阻
    • 长序列泛化
      • 性能提升23%

金句 / Highlights

值得收藏与分享的关键句。

#State Space Models#机器学习#NeurIPS#Apple
打开原文

门控机制的重要性:状态空间模型中的记忆学习与上下文学习 - Apple 机器学习研究

研究领域

方法与算法

,

语音与自然语言处理

会议

NeurIPS

内容类型

论文

发表时间

2026年11月

门控机制的重要性:状态空间模型中的记忆学习与上下文学习

作者 William L. Tong†**, Aryo Lotfi, Emmanuel Abbe, Kostas Vaggelakos, Vishnu Banna, Etai Littwin, Josh Susskind, Cengiz Pehlevan†, Eran Malach

查看出版物

复制Bibtex

状态空间模型(SSMs)已成为Transformer的有吸引力的替代方案,能够以恒定内存和线性计算进行序列建模。尽管SSMs表现出合理的性能和有利的计算特性,但它们在需要上下文学习和精确检索的任务上仍落后于Transformer,这减缓了其在大规模语言建模中的采用。在本研究中,我们证明SSM在这些领域中的成功与失败都可以通过研究门控机制的作用来解释,这是现代循环网络中的常见组件。具体而言,我们通过理论和实验表明,这种门控机制会导致SSM首先学习一种基于权重的“记忆”解决方案,而延迟甚至阻止收敛到正确的上下文学习解决方案。重要的是,即使在架构或其内存容量不存在根本限制的情况下,这种情况也会发生。另一方面,我们发现门控机制通常有助于提高对长序列长度的泛化能力。我们的结果阐明了门控机制在塑造SSM训练动态和泛化能力中的关键作用,并为理解与改进线性时间模型提供了基础。

  • †哈佛大学
  • ** 在Apple工作期间完成的研究

相关阅读与更新

从无限到超越:工具使用解锁状态空间模型的长度泛化

2026年3月27日 研究领域 方法与算法 , 研究领域 工具、平台、框架 会议 ICLR

状态空间模型(SSMs)已成为Transformer在序列建模中的领先替代方案。它们的主要优势在于通过固定大小的内存和计算复杂度的线性扩展,实现长上下文和长文本生成的效率。我们从一个简单的理论结果开始,表明SSMs无法准确解决任何“真正长文本”生成问题(以我们正式定义的方式),这削弱了……

阅读更多

无需注意力的高效扩散模型

2024年5月28日 研究领域 计算机视觉 , 研究领域 方法与算法 会议 CVPR

Transformer在类条件ImageNet基准测试中表现出令人印象深刻的性能,实现了最先进的FID分数。然而,其计算复杂度会随着Transformer的深度/宽度或输入令牌数量的增加而增加,并且需要对偶进行近似处理,才能在甚至潜在输入序列上运行。在本文中,我们通过提出一种新颖的方法来提高图像的效率和可扩展性,解决了这些问题……

发现机器学习领域的机遇

我们的机器学习研究每天都在取得突破性进展。

加入我们