Continual Learning Is Arriving in Pieces

持续学习正在以碎片化方式到来 - Gradient Flow

持续学习正在以碎片化方式到来

作者

Ben Lorica

2026年8月12日

2026年7月20日

分类

未分类

.meta-info

.post-thumbnail

不久前我写过关于初创公司如何利用强化学习提升智能体可靠性。这一趋势背后更深层次的问题不断浮现：模型在训练过程中可以持续改进，但一旦部署后学习基本停止。策略发生变化、出现新的边缘案例、用户纠正系统时，系统往往难以将这些经验转化为长期改进。提示信息被修补、工单被关闭，相同类型的问题最终会再次出现。系统在运行过程中可能积累大量日志和文档，但第500天的表现往往和第一天差不多。

Gradient Flow 由热心读者支持得以实现。考虑成为付费支持者 🙏

这就是持续学习要解决的缺口。如果说强化学习关注的是在训练过程中通过实践提升模型，那么持续学习探讨的是训练结束后会发生什么。真实使用场景能否带来系统行为的持久改变？实现方式多种多样：有时是记忆，有时是智能体自主修订指令，有时是模型权重（内部参数）实际更新，但核心定义始终一致：一个部署系统能够记录自身经验，将其转化为持久改进，验证改进不会破坏其他功能，并持续推动进步。我统计到超过20家初创公司已将这种循环机制作为商业模式的核心。这足以让趋势获得重视。这引出两个问题：为什么现在如此多公司押注持续学习，以及他们认为该技术将在哪些领域产生价值。

##### 没有预算的维护成本

最有力的论据与研究雄心无关，而是关于维护成本。目前，大多数智能体故障会转化为支持工单、提示信息修改或孤立的调试会话。持续学习将故障转化为可复用材料：回归测试、修正后的指令、更优的工具调用、更新后的记忆或训练数据。更具挑战性的是确保某个问题的修复不会悄无声息地破坏原有功能。这正是部分公司选择在更新循环中直接构建回归检测机制，而非依赖人工后续发现的原因。这正是能产生复利效应的改进与不断堆积补丁的根本区别。

第二个论据是经济性。在每次会话开始时将文档或生产历史输入模型确实有效，但你不得不反复支付重复处理相同信息的费用。多家初创公司押注于将高频使用的信息压缩到系统中，而非每次从头读取，这既降低成本，也使更小、更便宜的模型在特定任务上超越大而通用的模型。进一步推进这一思路，我们得到的将是更雄心勃勃的系统：能够内化组织实际运作方式，或捕捉资深员工那种难以完全写入提示信息的隐性判断能力。

第三个论点是专业化，信任是其约束条件。某些专业知识难以用书面规则表达，它存在于反复的案例、修正和细微的判断中。持续学习提供了一种捕捉这些技能的方法，但也带来了新的风险。一个持续变化的系统可能吸收不良反馈、遗忘旧能力、泄露信息或变得无法审计。因此，实际的竞争并非单纯让AI学习更多，而是让学习过程可检查、可逆，并且足够安全，使企业能够依赖。

( 放大 )

##### 持续学习已在哪些领域初见成效

面向客户的工作是最早显现成效的领域之一。支持系统会产生大量重复的互动、可见的升级、人工修正和相对清晰的结果。销售和客户管理工作同样受益于这种连续性，尤其是当系统需要记住长期关系而非将每次对话视为独立交易时。第二个领域是企业知识和专业工作：法律、金融服务、医疗运营。这些领域文档具有专有性，任务重复发生，错误会产生实际经济损失。高风险、狭窄的专业化和重复的结构，为一个旨在长期提升特定工作能力的系统提供了近乎理想的环境。

技术工作是另一个天然契合的领域，因为反馈通常异常清晰。代码会编译或失败，测试会通过或失败，开发人员会接受补丁或重写它。基础设施运维也会留下尝试过的内容、成功之处以及加剧问题的操作记录。共同点在于，任务运行时间越长，早期的小错误影响会呈指数级放大，因此受益最多的系统是那些能沿途及时发现自身偏差的系统。

第三个领域利用持续学习来改进AI系统本身。产品使用可以转化为持续的训练信号流，而非无人回顾的存档。模拟环境为智能体提供了一个安全空间，使其能在接触真实客户或基础设施前经历罕见的失败。模型开发和性能优化也提供了相对清晰的成功衡量标准，使提出修改、测试并保留有效方案成为可能。在更实验性的边缘领域，机器人和运行于变化物理环境的系统正在发挥作用，这些环境变化太快，偶尔的再训练已不足以应对。

##### 持续学习正在以碎片化方式到来

我不认为持续学习会突然成为主流，因为它包含两种不同的赌注。较快的那部分已经在到来。系统可以保留有用记忆、分析生产日志、修订指令、测试拟议更改，同时保持人员在审批环节。这些方法相对便宜、可检查且可逆。许多团队会采用它们，而从未将这些做法描述为持续学习。

实际上，持续更新模型权重是一个更具挑战性的步骤。这不仅是一个工具层面的问题，更是一个信任问题。在允许部署的模型常规性地自行调整权重之前，团队需要对数据质量、隐私保护、遗忘处理、投毒攻击、回归测试、可审计性以及回滚机制等问题给出强有力的解决方案。我猜测，权重级学习最早可能在那些具有明确反馈机制的高吞吐量、高价值任务中率先落地。但更广泛的变革已经悄然展开：AI产品正逐渐从“每几个月就需要更换一次的软件”，转变为“需要通过长期使用不断优化自身以证明其价值的存在”。真正的问题或许不是“所有模型何时会实现持续学习”，而是“所有严肃的AI产品何时必须能够清晰回答‘它如何通过使用而变得更好’这一问题”。