Why do our AI models stop learning the second we deploy them?

为什么我们的AI模型在部署后立即停止学习？ - Gradient Flow

为什么我们的AI模型在部署后立即停止学习？

作者：

Ben Lorica

2026年8月11日

发布于：

未分类

标签：

book

,

newsletter

.meta-info

.post-thumbnail

订阅 • 以前的版本

持续学习正在逐步到来

不久前我写过关于初创公司如何利用强化学习提高智能体可靠性的文章。这一趋势背后更深层次的问题不断浮现：模型在训练期间可以改进，但一旦部署，学习过程基本停止。策略发生变化、出现新的边缘案例、用户纠正系统时，这些经验往往无法延续到后续场景。提示信息被修补、工单被关闭，相同类型错误最终会再次出现。系统在运行过程中可能积累了大量日志和文档，但第500天的表现往往和第一天差不多。

Gradient Flow 的实现得益于读者的支持。考虑成为付费支持者 🙏

这就是持续学习旨在填补的空白。如果说强化学习关注的是通过训练过程中的实践提升模型，那么持续学习关注的是之后会发生什么。真实使用场景是否能产生持久的系统行为改变？实现方式因情况而异：有时是记忆，有时是智能体自主修订指令，有时是模型权重（内部参数）实际更新，但核心定义在所有情况下保持一致：一个部署后的系统能够捕获自身经验，将其转化为持久改进，验证改进不会破坏其他功能，并将这些改进持续应用。我统计到超过20家初创公司，其中某种形式的该循环机制是其商业模式的核心。这已经足以认真对待这一趋势。这引出了两个问题：为什么现在如此多公司押注持续学习，以及他们认为该技术会在哪些方面产生价值。

##### 没有预算的维护成本

最强有力的论据与研究雄心无关，而是关于维护成本。目前，大多数智能体故障会转化为支持工单、提示信息修改或孤立的调试会话。持续学习将故障转化为可复用材料：回归测试、修正后的指令、更优的工具调用、更新后的记忆或训练数据。更困难的部分是确保对某一场景的修复不会悄悄破坏原有功能。这就是为什么一些公司直接在更新循环中构建回归检查，而不是依赖人工后续发现。这正是能产生复利效应的改进与不断累积补丁的根本区别。

第二个论据是经济性。在每次会话开始时将文档或生产历史输入模型虽然有效，但你不得不反复支付重复处理相同信息的费用。多家初创公司押注于：频繁使用的信息应被压缩到系统中，而非每次都从头重新读取，这能降低成本并使更小、更便宜的模型在特定任务上超越大型通用模型。进一步推进这一思路，我们将获得比节省成本更宏大的成果：一个系统能够内化某组织实际运作方式，或捕捉资深员工那种无法完全写入提示信息的隐性判断能力。

第三个论点是专业化，信任是其约束条件。某些专业知识难以用书面规则表达，它存在于反复的案例、修正和微妙的判断中。持续学习提供了一种捕捉这些经验的方法，但也带来了新的风险。一个持续变化的系统可能吸收不良反馈、遗忘原有能力、泄露信息或变得无法审计。因此，实际的竞赛并非单纯让AI学习更多，而是让学习过程可检查、可逆，并足够安全，使企业能够依赖。

( enlarge )

##### 持续学习已初见成效的领域

面向客户的工作是最早显现价值的领域之一。支持系统会产生大量重复互动、可见的升级、人工修正和相对清晰的结果。销售和客户管理工作同样受益于这种连续性，尤其是当系统需要记住长期关系而非将每次对话视为独立交易时。第二个领域是企业知识和专业工作：法律、金融服务、医疗运营。这些领域文档具有专有性，任务重复发生，错误会产生真实成本。高风险、高度专业化和重复结构的组合，几乎是最适合持续学习系统逐步提升特定工作能力的理想环境。

技术工作是另一个天然契合的领域，因为反馈通常异常清晰。代码会编译或失败，测试会通过或失败，开发者会接受补丁或重写它。基础设施运维也会留下尝试过的内容、成功案例以及加剧问题的操作记录。共同的特征是，任务持续时间越长，早期微小错误的累积效应越显著，因此受益最大的系统是那些能在过程中及时发现自身偏差的系统。

第三个领域利用持续学习来改进AI系统本身。产品使用可以转化为持续的训练信号流，而非无人回顾的存档。模拟环境可以为智能体提供安全空间，使其在接触真实客户或基础设施前经历罕见的失败场景。模型开发和性能优化也提供了相对清晰的成功衡量标准，使得提出修改方案、测试并保留有效方法成为可能。在更实验性的前沿领域，机器人和运行于动态物理环境的系统正在探索，这些环境变化太快，偶尔的再训练已不足以应对。

##### 持续学习正在以碎片化方式落地

我不认为持续学习会突然成为主流，因为它包含两种不同的赌注。较快的部分已经在到来。系统可以保留有用记忆、分析生产日志、修订指令、测试拟议变更，同时保持人工审批环节。这些方法相对便宜、可检查且可逆。许多团队将采用这些方法，却从未将它们描述为持续学习。

实际上，持续更新模型权重是一个更具挑战性的步骤。这不仅是工具层面的问题，更是信任层面的问题。在允许部署的模型常规性地自行调整权重之前，团队需要对数据质量、隐私保护、遗忘机制、中毒攻击、回归测试、可审计性以及回滚策略等问题给出强有力的解答。我的猜测是，权重级学习将首先在那些具有明确反馈机制的高价值、高流量任务中得到应用。但更广泛的转变已经悄然开始。AI产品正逐渐从“每几个月就需要更换一次的软件”转变为“被期待通过长期使用而持续改进的系统”。真正的问题可能不是“何时每个模型都能持续学习”，而是“何时每个严肃的AI产品都必须能给出一个切实可行的‘使用过程中如何变得更好’的答案”。

AI Conference 是一个超越新闻标题、直接向现实世界中部署AI的团队学习的机会。旧金山，9月30日-10月1日。使用折扣码 gradientflow20 可享20%优惠。

AI 面临的不仅是营销问题

摘自《为何数据中心成为AI backlash的代名词》

夏日书单

• 《The Score：如何停止玩别人设定的游戏》。虽然案例主要来自游戏设计领域，但这一观点对AI评估同样适用，这是Goodhart定律的一个典型案例：一旦你开始优化某个基准指标，它就不再能告诉你真正需要了解的信息。

• 《You Won’t Get Free of It：母亲与女儿的故事》。Rachel Aviv是我最喜欢的作家之一，这本作品集让我再次理解了原因：即使面对困难素材，她依然坚持克制评论倾向，以耐心细致的报道方式呈现故事。

• 《The Cruelest Game：职业网球中对卓越的追逐》。这是一份献给终身网球爱好者的礼物：Futterman对他的采访对象有着惊人的深入（从德约科维奇在局点之间的饮食习惯，到他如何追踪球拍阴影的移动以应对五小时比赛的生存策略），最终呈现的是一本罕见的网球书籍——它解释了这项运动的心理学，而不仅仅是复述比赛的精彩瞬间。