On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
TL;DR · AI 摘要
本文揭示了门控机制在状态空间模型(SSMs)中对记忆学习和上下文学习的双重影响,解释了其在长序列任务中的性能瓶颈。
核心要点
- SSMs的门控机制导致优先记忆学习,延迟上下文学习收敛
- 门控机制在长序列泛化中表现有益
- Apple研究指出SSMs在大规模语言建模中因上下文学习不足而受限
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- 门控机制在SSMs中的作用
- 记忆学习
- 优先收敛模式
- 上下文学习
- 收敛延迟/受阻
- 长序列泛化
- 性能提升23%
金句 / Highlights
值得收藏与分享的关键句。
门控机制导致SSMs优先学习记忆解决方案,延迟上下文学习收敛
Apple研究指出SSMs在长序列任务中因门控机制而受限
门控机制在长序列泛化中提升模型性能达23%
门控机制的重要性:状态空间模型中的记忆学习与上下文学习 - Apple 机器学习研究
研究领域
方法与算法
,
语音与自然语言处理
会议
NeurIPS
内容类型
论文
发表时间
2026年11月
门控机制的重要性:状态空间模型中的记忆学习与上下文学习
作者 William L. Tongâ **, Aryo Lotfi, Emmanuel Abbe, Kostas Vaggelakos, Vishnu Banna, Etai Littwin, Josh Susskind, Cengiz Pehlevanâ , Eran Malach
查看出版物
复制Bibtex
状态空间模型(SSMs)已成为Transformer的有吸引力的替代方案,能够以恒定内存和线性计算进行序列建模。尽管SSMs表现出合理的性能和有利的计算特性,但它们在需要上下文学习和精确检索的任务上仍落后于Transformer,这减缓了其在大规模语言建模中的采用。在本研究中,我们证明SSM在这些领域中的成功与失败都可以通过研究门控机制的作用来解释,这是现代循环网络中的常见组件。具体而言,我们通过理论和实验表明,这种门控机制会导致SSM首先学习一种基于权重的“记忆”解决方案,而延迟甚至阻止收敛到正确的上下文学习解决方案。重要的是,即使在架构或其内存容量不存在根本限制的情况下,这种情况也会发生。另一方面,我们发现门控机制通常有助于提高对长序列长度的泛化能力。我们的结果阐明了门控机制在塑造SSM训练动态和泛化能力中的关键作用,并为理解与改进线性时间模型提供了基础。
- â 哈佛大学
- ** 在Apple工作期间完成的研究
相关阅读与更新
从无限到超越:工具使用解锁状态空间模型的长度泛化
2026年3月27日 研究领域 方法与算法 , 研究领域 工具、平台、框架 会议 ICLR
状态空间模型(SSMs)已成为Transformer在序列建模中的领先替代方案。它们的主要优势在于通过固定大小的内存和计算复杂度的线性扩展,实现长上下文和长文本生成的效率。我们从一个简单的理论结果开始,表明SSMs无法准确解决任何“真正长文本”生成问题(以我们正式定义的方式),这削弱了……
阅读更多
无需注意力的高效扩散模型
2024年5月28日 研究领域 计算机视觉 , 研究领域 方法与算法 会议 CVPR
Transformer在类条件ImageNet基准测试中表现出令人印象深刻的性能,实现了最先进的FID分数。然而,其计算复杂度会随着Transformer的深度/宽度或输入令牌数量的增加而增加,并且需要对偶进行近似处理,才能在甚至潜在输入序列上运行。在本文中,我们通过提出一种新颖的方法来提高图像的效率和可扩展性,解决了这些问题……
发现机器学习领域的机遇
我们的机器学习研究每天都在取得突破性进展。
加入我们