EvoLib: Turning experience into evolving knowledge

EvoLib：将经验转化为持续演进的知识 - 微软研究院

/.itemprop=publisher

/itemprop=image

EvoLib：将经验转化为持续演进的知识

发布于 2026年7月30日

作者：徐伟佳，高级研究员 Alessandro Sordoni，高级首席研究经理 Zelalem Gero，高级研究员 Michel Galley，高级首席研究经理 Eric Yuan，首席研究员 Jianfeng Gao，技术院士 & 首席副总裁

分享本页

• 在Facebook上分享

• 在X上分享

• 在LinkedIn上分享

• 在Reddit上分享

• 订阅我们的RSS源

/#single-header

一目了然

• 自监督学习。EvoLib使大语言模型能够在推理过程中从自身经验中学习，无需真实标签或外部反馈。

• 从经验到知识。EvoLib将过去的尝试转化为可复用的技能和反思性洞见，应用于未来任务。

• 持续演进的知识。有用的技能和洞见会持续优化、整合和重新加权，将具体实例的观察转化为日益普遍的知识。

• 跨任务的知识迁移。通过将经验转化为可复用知识，EvoLib帮助AI模型从过往的成功与失败中学习，并持续优化最具潜力的知识以提升未来表现。

• 适配当前AI模型。由于EvoLib无需模型更新，可应用于任何通过API部署的黑盒语言模型和AI系统。

记忆已成为AI代理的重要能力：存储和检索过往经验的能力。但仅有记忆并不等于学习。大量历史对话、推理轨迹或操作记录会迅速积累成庞大的经验库，使得难以识别新任务中最相关的知识——更不用说持续优化这些知识以提升性能。

人类的学习方式不同。我们不会记住所有过往细节，而是记住关键内容：有效的策略、需要避免的错误、可跨场景复用的技能。随着时间推移，这些经验会被提炼成更通用、更可复用的知识。这种将经验转化为可迁移、持续演进知识的能力，是人类学习的基础之一。

在我们最近的论文《Test-Time Learning with an Evolving Library》中，我们探索了AI系统如何以类似方式从经验中学习。我们提出了EvoLib框架，该框架将原始经验转化为持续演进的知识库。不同于将记忆视为不断增长的经验存档，EvoLib从这些经验中提取可复用知识，并随着新经验的出现持续优化。通过知识库的演进，技能变得更具通用性，洞见更加精准，下游任务表现持续提升。这样，AI代理可以在不更新底层模型的情况下，持续从积累的经验中学习。

EvoLib的工作原理

Azure AI Foundry 实验室

通过微软研究院的这些实验性技术，窥见AI未来发展的潜在方向。

Azure AI Foundry

/.msr-promo__content

/.msr-promo__inner-wrap

在新标签页中打开

promos injected

/.msr-promo

不同于传统AI记忆系统将原始体验存储为静态信息的方式，EvoLib围绕“知识演化”这一核心理念构建。在EvoLib中，知识单元可以表现为从成功解决方案中提炼出的可复用技能，或是从错误中获得的反思性洞见。与单纯随时间积累更多记忆不同，EvoLib会随着新体验的出现持续优化、整合并重新调整现有知识的权重。具体而言，我们围绕知识演化设计了以下机制：

• 知识整合。当从近期体验中提取出新知识时，EvoLib会从知识库中检索相似知识，并尝试将其与新知识整合为更通用、更可复用的形式。这使知识能够超越个体体验，实现跨任务的适用性。

• 权重机制。EvoLib不仅根据知识单元在当前任务中的即时效用，还会根据其对未来任务生成有用知识的贡献度，持续更新每个知识单元的重要性。随着时间推移，对长期影响最大的知识会自然在知识库中占据更突出的位置。

图1. EvoLib将原始体验转化为可复用的技能和洞见，并通过整合与动态权重机制持续演化这些知识。

关键成果

为评估EvoLib，我们在包含不同类型体验和学习需求的多样化挑战性任务上进行了测试：

• 解决数学推理问题
• 在效率约束下编写代码完成指定任务
• 通过探索与环境交互来执行长期目标任务

在这些任务中，EvoLib始终优于基于检索的顶级记忆方法，以及其它抽象记忆机制，且在token使用效率上表现更优。

我们还评估了EvoLib通过持续演化知识将测试时计算资源转化为性能提升的效果。图2将EvoLib与两种方法进行对比：一种是独立执行每个任务的计算扩展方法，另一种是强记忆型学习方法。每条曲线展示了随着测试时计算量增加，性能如何提升。

在所有三个基准测试中，EvoLib在大部分计算资源范围内均实现了更高的性能，并且随着计算资源增加，性能提升速度更快。

这些结果表明，更优学习的关键可能不在于单纯存储更多记忆或投入更多计算资源。相反，最大的收益来自于将体验转化为可持续优化并跨任务复用的知识。

图2. 在所有任务中，EvoLib比现有方法更有效地将测试时计算资源转化为性能提升。

对随机任务顺序的鲁棒性

A natural question is whether such learning depends heavily on the order in which tasks are encountered. In the real world, an AI system may face diverse types of tasks in arbitrary order, and a useful learning framework should be robust to the randomness in task order. To evaluate this, we measured the task performance on the same set of heterogeneous tasks but with different task orders. We found that EvoLib consistently improves over existing memory-based learning approaches and maintains stable performance across different orderings. This indicates that EvoLib can continually learn from diverse tasks even when they are interleaved, suggesting its practical advantage in real-world scenarios where an agent must handle and learn from a mixed stream of heterogeneous user requests without relying on a structured curriculum.

As AI systems take on longer-running and more complex tasks, learning from experience will become increasingly important. The future of AI may depend not only on larger models and more computation, but also on mechanisms that allow systems to continually accumulate, refine, and reuse knowledge.

EvoLib is one step toward that vision. By transforming experience into evolving knowledge, it enables AI systems to continually improve and adapt after deployment. Rather than repeatedly starting from scratch, future AI systems may be able to build upon an evolving library of reusable skills and insights, much like humans do.

Code and experiment results are available on GitHub (opens in new tab) to support future research on memory and knowledge evolution in AI systems.

Related publications

Card

Test-Time Learning with an Evolving Library

Meet the authors

Card column wrapper

Card body

Weijia Xu

Senior Researcher

Card footer

Learn more

Alessandro Sordoni

Senior Principal Research Manager

Zelalem Gero

Michel Galley

Eric Yuan

Principal Researcher

Jianfeng Gao

Technical Fellow & Corporate Vice President

Research Areas

• Artificial intelligence

Related labs

• Microsoft Research Lab - Redmond

• Microsoft Research Lab – Montréal

• Microsoft Health Futures