停止升级你的LLM,开始修复你的数据

TL;DR · AI 摘要
企业部署AI智能体遇阻主因在数据整合质量而非模型能力升级,解决数据问题与组织流程重塑是成功关键。
核心要点
- AI智能体部署失败中25%以上可归因于关键知识未实现系统化捕获与整理。
- 升级LLM模型并非解决企业特定术语问题的正确方案,领域特定数据和知识结构才是答案。
- 智能体部署需同时改变组织工作流程,先期失败常导致后续项目难获资金支持。
结构提纲
按章节快速跳转。
部署AI智能体面临重重挑战,大多数机构对其复杂性预估不足。
企业知识分散在非结构化渠道中,25%以上的代理部署失败直接源于关键知识未被系统捕获。
面对特定术语问题时,组织常错误地选择升级更大模型而非改进领域特定数据和知识结构。
代理需要从设计之初就内置治理、范围界定、适当权限和审计跟踪的数据访问机制。
即使集成稳固且数据有序,大多数部署仍会触及组织本身这道无人预算的壁垒。
早期智能体项目失败代价高昂,常导致管理者认为整个类别不成熟或不安全,使后续尝试无法获得资金。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- 企业AI智能体部署挑战
- 技术障碍
- 老旧系统集成困难
- 数据分散且质量差
- 安全访问控制缺失
- 组织障碍
- 流程未为智能体设计
- 责任归属不明确
- 变革管理不足
- 错误应对策略
- 模型升级优先于数据修复
- 忽视流程重构重要性
- 缺乏长期实施规划
金句 / Highlights
值得收藏与分享的关键句。
部署AI智能体比大多数组织预期的要困难得多,原因几乎都不是他们预期的那些。
超过四分之一的代理部署失败直接归因于关键知识从未被系统可以获取的任何地方捕获。
当代理在公司特定术语上失败时,本能是升级到更强大的模型。这种本能几乎总是错误的。
即使集成稳固且数据有序,大多数部署仍会触及第三个几乎没有人预算的墙:组织本身。
部署代理意味着在组织仍在运行时改变组织。这比演示慢且混乱,但这也是真正实施工作的开始。
[订阅](https://gradientflow.substack.com/subscribe)•**往期内容**
集成是新的护城河:超越LLM
在纽约举办的**AI代理大会**是我参加过的最能了解企业AI实际情况的活动之一。正式会议很棒,但走廊里的交谈才是我获得内幕消息的地方。一致的信息是:部署AI代理比大多数组织预期的要困难得多,而原因很少是他们所预料的。以下是我尝试将所听到的内容提炼为关于企业代理为何如此难以部署的实用观点。
_定期阅读?考虑成为付费支持者 _
第一个障碍是集成。在一个又一个企业中,代理遇到了旧的CRM、财务系统、文档存储和自制工具,这些工具从未为自主软件设计过。看起来像是接线问题的问题通常不是。一家物流公司构建了一个有能力的代理,但一旦需要接触他们的订单管理系统(一个十年前设计的平台,从未考虑过会被自主决策的软件查询)时,这个代理就崩溃了。代理本身没有问题,问题在于它被投入的那个流程。最糟糕的失败往往是那些隐藏起来的失败。一家金融服务公司在测试环境中成功运行代理数月,却在季度审计中发现生产环境中的CRM记录已悄然停止更新。没有错误,没有警报,只是不良数据积累了三个月。那些将集成视为技术交接而非工作流重新设计问题的团队,总是会在同一堵墙上碰壁。
数据问题在每一层都加剧了这种情况。企业知识并不存在于干净、可查询的数据库中。它存在于无人维护的Confluence页面、两年前的Slack线程中,以及三位在现任CTO到来之前就在公司工作的员工的头脑中。一项研究发现,超过四分之一的代理部署失败直接源于从未被系统捕获的关键知识。当代理在公司特定术语上失败时,如非标准产品代码或内部采购简写,本能反应是升级到更强大的模型。这种本能几乎总是错误的。解决方案是特定领域的示例和更好的知识捕获,而不是更大的模型。在所有这些之下,安全不能是事后考虑。代理需要受管理的、有范围的数据访问权限,并从一开始就内置适当的权限和审计跟踪。没有这个基础,即使一个集成良好、训练有素的代理也是一个等待暴露的隐患。

##### 代理不修复破碎的流程,它们只是发现这些问题
但即使集成稳固、数据有序,大多数部署也会遇到几乎没有人预算的第三堵墙:组织本身。代理不是作为中立的软件升级出现的。它们要求人们改变工作的路由、批准、测量和拥有方式。在医院系统中,这可能意味着决定代理是否可以在临床医生审查之前准备预先授权包。在工业制造商中,这可能意味着暴露工厂经理多年来使用的非正式变通方法,因为官方流程太慢。在保险业务中,这可能意味着发现没有人能解释当代理推荐了一个后来受到质疑的承保决定时,谁应该负责。这些不是边缘情况。它们就是工作本身。
这就是为什么早期的代理项目经常以政治代价高昂的方式失败。一个薄弱的首次部署不仅仅是错过了一个KPI。它让管理者、运营者和风险团队相信整个类别都不成熟或不安全。更困难的第二次尝试,即涉及流程审计、更明确的所有权、更好的评估和严肃的变革管理的那次尝试,可能永远不会获得资金。实际上,部署代理意味着在组织仍在运行的同时改变组织。这比演示要慢得多、混乱得多,但这也是真正的实施工作开始的地方。

加剧所有这些问题的是一个没有干净解决方案的人才问题。大规模部署代理需要同时理解流程设计、LLM行为、系统集成和组织变革的人。这种组合确实罕见,那些只招聘其中一两项技能并假设其余技能会随之而来的公司,正在为同样的失败模式埋下伏笔,只是症状不同而已。
##### 代理是被实施的,而不是被安装的
真正的工作难点不是让智能体在隔离环境中正确运行,而是让它在实际组织中正确运行,在这种组织中,工作分布在各个角色之间,责任归属模糊,而且流程是基于人类判断设计的,而这些判断从未被记录下来。看起来像AI项目的,通常是一个附带AI组件的流程重新设计项目。及早认识到这一点的公司,往往会将首次部署的范围限定在一个特定的、有问题的流程上,而不是整个职能部门或部门。不是"自动化销售团队",而是"自动化潜在客户资格评估中需要从两个系统提取相同三个字段并每周写200封相同邮件的部分"。这个更窄的目标在演示时可能不那么令人兴奋,但更有可能在组织中存活下来。企业级智能体不是被安装的,而是被建立、管理、监控并逐步扩展的。

实施差距也创造了一种人员配置模式,大多数组织尚未完全吸收。最有效的部署涉及为每个生产环境中的智能体指定专门的运营负责人,这个人位于业务流程和技术系统的交叉点,能够区分正在工作的智能体和产生看似合理但未经任何人验证输出的智能体。一些供应商通过嵌入式专家、技术产品经理或前置部署工程师来正式化这一模式,这些人的工作是在客户的工作流程中驻留,直到部署真正稳定。如果没有这种所有权,生产环境中的智能体会变成由构建原型的人维护的副项目,研究也证实了这一点:跳过专门所有权的组织面临需要完全回滚的故障的可能性要大得多。这种所需的人才配置与任何现有职位头衔都不完全匹配,这也是为什么许多公司要么从头开始构建,要么将其外包给已经在他人项目中吸取了这些教训的实施专家的原因。
##### 集成是新的护城河
企业级智能体的下一个持久优势将不会来自于选择更聪明的模型。它将来自于使智能体在混乱、具体、高风险的工作流程中可用。法律团队不需要一个在抽象意义上听起来像首席法律顾问的模型。它需要一个能够找到正确合同、应用公司谈判手册、尊重审批阈值并留下清晰审计轨迹的系统。客户支持运营通过为每个人类代理提供更好的副驾驶获得的收益有限。通过重新设计服务,使常规案例能够端到端解决,同时由人员处理需要判断、同理心或升级的工作,才能真正获得杠杆效应。

运行分散的ERP、采购和工厂系统的制造商不会通过等待更大的模型来缩小竞争差距。它将通过现代化业务的连接组织来缩小差距。基础模型的原始智能比大多数人预期的更快地成为商品。仍然稀缺的是集成深度、受控的数据访问、流程重新设计和运营所有权,这些是使智能体在生产环境中真正发挥作用的关键。
这个差距也是一个市场。能够做那些不起眼工作的供应商、集成商和内部转型团队——连接遗留系统、捕获机构知识、构建评估框架、管理组织变革——正面临着一个真实而持久的机遇。基础模型理论上能做的事情与企业实际能部署之间的差距并非自行缩小。那些将集成、治理和流程重新设计视为产品而非管道的公司,将是那些能够将智能体从演示转变为运营杠杆的公司。

- * *
[DeepSeek 515亿美元溢价背后的三大支柱](https://mp.weixin.qq.com/s/4BX75t0z-pJ_kQWrEPcLkw?utm_source=gradientflow&utm_medium=newsletter)
