The JetBrains Blog

Scaling AI Agents: What We Learned From 9 Real-World Cases

8.5内容质量

TL;DR · AI 摘要

JetBrains报告揭示AI代理规模化三大关键:优化流程、准备代码库、团队协作,Fin案例实现PR吞吐量3倍增长。

核心要点

  • Fin通过建立Team 2x团队,实现PR吞吐量3倍增长且缺陷减少54%
  • 标准化构建工具和快速测试是AI代理可靠运行的前提条件
  • 个人AI使用需结合团队协作,否则难以提升整体绩效

结构提纲

按章节快速跳转。

  1. JetBrains发布AI代理规模化研究报告,分析9个实际案例的成败经验。

  2. Fin通过建立专门团队优化CI/CD,实现PR吞吐量3倍增长。

  3. 标准化构建工具和快速测试是AI代理可靠运行的前提条件。

  4. 个人AI使用需结合团队协作,否则难以提升整体绩效。

  5. 通过优化monorepo环境,提升AI代理在复杂项目中的可靠性。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • AI代理规模化教训
    • 流程优化
      • 专用团队建设
      • CI/CD改进
    • 代码库准备
      • 标准化工具
      • 快速测试
    • 团队协作
      • 知识共享
      • 成本控制

金句 / Highlights

值得收藏与分享的关键句。

#JetBrains#AI代理#软件开发#团队协作#代码质量
打开原文

扩展AI代理:从9个现实案例中学到的经验 - JetBrains博客

公司

关注

  • 关注:
  • X
  • Facebook
  • Linkedin
  • Instagram
  • Youtube
  • RSS
  • Tiktok
  • 订阅

访问 jetbrains.com

Agentic AI

最佳实践

JetBrains Air

扩展AI代理:从9个现实案例中学到的经验

Ciara Byrne

我们最新发布的报告探讨了软件开发领导者如何让代理投入工作。

一家机构在未提升开发者效率的情况下实现了95%的AI采用率。另一家机构在将拉取请求吞吐量提升三倍的同时,将缺陷积压减少了54%。

是什么导致了这种差异?

为了找出AI代理在超越个人开发者层面的有效性,我与Fin、Semrush、Skiller Whale等组织的工程领导者和从业者进行了交流。

研究结果现已收录在我们的新报告《顶尖团队如何扩展AI代理》中,包含九个真实案例研究和从业者经验分享,包括JetBrains工程团队的见解。

该报告超越采用率和个体生产力提升,深入探讨当团队开始依赖AI代理时真正发生的变化——他们如何组织工作、维护代码质量、共享知识、管理成本和衡量成果。

下载免费报告

以下三个教训给我留下了深刻印象。

#1. 更多代理无法修复破损的开发流程

在Fin,最初的目標是將拉取請求吞吐量提高一倍,同時不影響代碼質量、安全性和性能。

Fin沒有簡單地部署更多編碼代理,而是成立了專門的Team 2x團隊來管理圍繞代理的基礎設施,包括共享技能、插件、MCP服務器和評估。

團隊通過真實示例測試代理技能,用歷史PR回測其代碼審查技能,並分析代理會話以識別重複錯誤和缺失上下文。

但提高輸出帶來了新問題。CI系統壓力增大,代碼質量變得不一致。Fin通過投資格式化工具和標準化來應對。

在16個月內,Fin報告稱:

  • 拉取請求吞吐量提高3倍
  • 缺陷積壓減少54%
  • 每個拉取請求成本降低50%,儘管總體AI支出增加

特別有趣的是Fin投入了大量工作,確保其工程系統的其他部分能夠跟上節奏。

#2. 你的代码库需要为代理做好准备

即使能力強大的代理,當它們無法可靠地構建項目、運行測試或找到所需上下文時也會遇到困難。

這在大型複雜倉庫中尤為具有挑戰性,開發人員通常依賴多年積累的關於構建配置、依賴關係和項目約定的知識。

在JetBrains,我們正在通過自己的大型單體倉庫解決這個問題。我們的經驗表明,有幾個實用要求:標準化的構建工具、快速測試、可訪問的API,以及代理可以自行設置的環境。

這個經驗教訓很直接:在投資更多代理之前,先看看目前擁有的代理有哪些障礙阻止它們可靠地完成任務。

#3. 個人AI採用不會自動提升團隊表現

在Angie Jones討論的一個機構中,AI採用率達到95%,但開發者效率卻沒有變化。

团队将重点从鼓励使用AI转向帮助开发者委派有意义的工作。那些构建更丰富仓库级上下文的冠军开发者,最终打开拉取请求的速度达到之前的三到四倍。

Skiller Whale遇到了同一问题的不同版本。在一个客户案例中,一个接受过监督AI代理培训的小组,其拉取请求吞吐量大约翻了一番,而整个组织的其他部分吞吐量却出现下降。

这些案例凸显了一个在AI采纳计划中容易被忽视的关键点:开发者需要学习如何结构化任务、提供上下文、评估结果,并与同事分享有效实践。否则,组织可能会陷入少数高产AI使用者的困境,而非实现更高效的工程团队。

实现AI代理规模化需要什么?

在这些讨论中,一个模式不断浮现:那些取得实质性成果的组织始终在改变周围的系统和实践。

这意味着要让开发环境具备代理就绪能力,建立共享标准,改进审查流程,投资团队学习,并衡量超越采纳率的成果。

没有一种适用于所有工程组织的通用方案,但有一些值得学习的具体方法,包括那些首次尝试失败的案例。

与这些团队的交流让我有很多思考,我相信还有许多值得分享的故事。我非常期待在评论区听到你们关于AI代理的经验、学到的教训,或仍在探索的挑战。

获取免费报告

report

  • 分享
  • 推特

上一篇

在JetBrains Air中使用你的GitHub Copilot计划 – 在IDE和云端