Scaling AI Agents: What We Learned From 9 Real-World Cases
TL;DR · AI 摘要
JetBrains报告揭示AI代理规模化三大关键:优化流程、准备代码库、团队协作,Fin案例实现PR吞吐量3倍增长。
核心要点
- Fin通过建立Team 2x团队,实现PR吞吐量3倍增长且缺陷减少54%
- 标准化构建工具和快速测试是AI代理可靠运行的前提条件
- 个人AI使用需结合团队协作,否则难以提升整体绩效
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- AI代理规模化教训
- 流程优化
- 专用团队建设
- CI/CD改进
- 代码库准备
- 标准化工具
- 快速测试
- 团队协作
- 知识共享
- 成本控制
金句 / Highlights
值得收藏与分享的关键句。
Fin在16个月内实现PR吞吐量3倍增长,缺陷 backlog 减少54%
大型代码库需要标准化构建工具和快速测试,否则AI代理难以可靠运行
JetBrains发现50%的AI成本节省来自流程优化而非单纯增加代理数量
扩展AI代理:从9个现实案例中学到的经验 - JetBrains博客
公司
关注
- 关注:
- X
- Youtube
- RSS
- Tiktok
- 订阅
访问 jetbrains.com
Agentic AI
最佳实践
JetBrains Air
扩展AI代理:从9个现实案例中学到的经验
Ciara Byrne
我们最新发布的报告探讨了软件开发领导者如何让代理投入工作。
一家机构在未提升开发者效率的情况下实现了95%的AI采用率。另一家机构在将拉取请求吞吐量提升三倍的同时,将缺陷积压减少了54%。
是什么导致了这种差异?
为了找出AI代理在超越个人开发者层面的有效性,我与Fin、Semrush、Skiller Whale等组织的工程领导者和从业者进行了交流。
研究结果现已收录在我们的新报告《顶尖团队如何扩展AI代理》中,包含九个真实案例研究和从业者经验分享,包括JetBrains工程团队的见解。
该报告超越采用率和个体生产力提升,深入探讨当团队开始依赖AI代理时真正发生的变化——他们如何组织工作、维护代码质量、共享知识、管理成本和衡量成果。
下载免费报告
以下三个教训给我留下了深刻印象。
#1. 更多代理无法修复破损的开发流程
在Fin,最初的目標是將拉取請求吞吐量提高一倍,同時不影響代碼質量、安全性和性能。
Fin沒有簡單地部署更多編碼代理,而是成立了專門的Team 2x團隊來管理圍繞代理的基礎設施,包括共享技能、插件、MCP服務器和評估。
團隊通過真實示例測試代理技能,用歷史PR回測其代碼審查技能,並分析代理會話以識別重複錯誤和缺失上下文。
但提高輸出帶來了新問題。CI系統壓力增大,代碼質量變得不一致。Fin通過投資格式化工具和標準化來應對。
在16個月內,Fin報告稱:
- 拉取請求吞吐量提高3倍
- 缺陷積壓減少54%
- 每個拉取請求成本降低50%,儘管總體AI支出增加
特別有趣的是Fin投入了大量工作,確保其工程系統的其他部分能夠跟上節奏。
#2. 你的代码库需要为代理做好准备
即使能力強大的代理,當它們無法可靠地構建項目、運行測試或找到所需上下文時也會遇到困難。
這在大型複雜倉庫中尤為具有挑戰性,開發人員通常依賴多年積累的關於構建配置、依賴關係和項目約定的知識。
在JetBrains,我們正在通過自己的大型單體倉庫解決這個問題。我們的經驗表明,有幾個實用要求:標準化的構建工具、快速測試、可訪問的API,以及代理可以自行設置的環境。
這個經驗教訓很直接:在投資更多代理之前,先看看目前擁有的代理有哪些障礙阻止它們可靠地完成任務。
#3. 個人AI採用不會自動提升團隊表現
在Angie Jones討論的一個機構中,AI採用率達到95%,但開發者效率卻沒有變化。
团队将重点从鼓励使用AI转向帮助开发者委派有意义的工作。那些构建更丰富仓库级上下文的冠军开发者,最终打开拉取请求的速度达到之前的三到四倍。
Skiller Whale遇到了同一问题的不同版本。在一个客户案例中,一个接受过监督AI代理培训的小组,其拉取请求吞吐量大约翻了一番,而整个组织的其他部分吞吐量却出现下降。
这些案例凸显了一个在AI采纳计划中容易被忽视的关键点:开发者需要学习如何结构化任务、提供上下文、评估结果,并与同事分享有效实践。否则,组织可能会陷入少数高产AI使用者的困境,而非实现更高效的工程团队。
实现AI代理规模化需要什么?
在这些讨论中,一个模式不断浮现:那些取得实质性成果的组织始终在改变周围的系统和实践。
这意味着要让开发环境具备代理就绪能力,建立共享标准,改进审查流程,投资团队学习,并衡量超越采纳率的成果。
没有一种适用于所有工程组织的通用方案,但有一些值得学习的具体方法,包括那些首次尝试失败的案例。
与这些团队的交流让我有很多思考,我相信还有许多值得分享的故事。我非常期待在评论区听到你们关于AI代理的经验、学到的教训,或仍在探索的挑战。
获取免费报告
report
- 分享
- 推特
上一篇
在JetBrains Air中使用你的GitHub Copilot计划 – 在IDE和云端