The JetBrains Blog

Run AI Agents in TeamCity

8.5内容质量
Run AI Agents in TeamCity

TL;DR · AI 摘要

TeamCity 现支持在 CI/CD 流程中运行 AI 代理,提升自动化代码审查和文档更新效率。

核心要点

  • TeamCity 新增 AI Agents 插件,支持 Codex 和 Claude Code 直接在构建流程中运行。
  • 插件可连接 OpenAI、Anthropic 等 LLM 提供商,支持 LiteLLM 和 OpenRouter 等网关。
  • 插件可追踪 token 使用情况,并以 HTML 和 JSON 格式记录代理轨迹,便于分析。

结构提纲

按章节快速跳转。

  1. AI 代理可以集成到 CI/CD 流程中,提升自动化任务的效率。

  2. 插件支持连接多个 LLM 提供商,并在构建过程中自动安装所需的 AI 代理。

  3. 插件在构建过程中临时提供凭证,避免长期存储在构建代理上。

  4. 插件记录 token 使用情况,并以 TeamCity 统计值形式展示。

  5. 插件记录 AI 代理的完整轨迹,并支持 HTML 和 JSON 格式输出。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • TeamCity AI Agents 插件
    • 功能
      • 连接 LLM 提供商
      • 自动安装 AI 代理
      • 凭证管理
      • Token 使用追踪
      • 代理轨迹分析

金句 / Highlights

值得收藏与分享的关键句。

#TeamCity#CI/CD#AI#JetBrains#LLM
打开原文

在 TeamCity 中运行 AI 代理 - JetBrains 博客

TeamCity

面向 DevOps 团队的强大 CI/CD 工具

关注

  • 关注:
  • X
  • YouTube
  • RSS
  • 订阅

获取 TeamCity

AI

在 TeamCity 中运行 AI 代理

Olga Bedrina

AI 编程代理不仅仅可以在开发人员的机器上运行。你也可以将它们作为 CI/CD 工作流程的一部分,用于代码审查、调查构建失败、更新文档或处理其他仓库任务。

TeamCity 的新实验性 AI 代理插件允许你在 TeamCity 构建中直接运行 Codex 和 Claude Code,并将其连接到你选择的 LLM 提供商。

该插件会在 TeamCity 构建代理上安装编程代理,安全地提供构建期间所需的凭证,并收集使用统计信息和代理轨迹。

当构建开始时,插件会检查所选客户端是否可用,如果需要则进行安装。然后你可以从常规的 TeamCity 命令行构建步骤中调用 codex 或 claude。

安装插件

AI 代理插件的作用

该插件处理在 CI 中可靠运行编程代理所需的大量设置工作。

连接到你首选的 LLM 提供商

插件将你的提供商凭证存储为 TeamCity 连接。目前支持:

这不仅限于这些服务直接提供的模型。像 OpenRouter 和 LiteLLM 这样的网关可以让你访问更广泛的模型,因此你可以选择适合你团队的模型和提供商。

在无需预先安装的情况下运行 Codex 和 Claude Code

你不需要在每个 TeamCity 构建代理上手动安装 Codex 或 Claude Code。当构建开始时,插件会检查所选客户端是否可用,如果需要则进行安装。然后你可以从常规的 TeamCity 命令行构建步骤中调用 codex 或 claude。

将提供商凭证保留在构建代理之外

TeamCity 构建代理通常在多个构建之间被重复使用,因此在代理上保留提供商凭证可能会带来安全隐患。插件仅在构建期间向 TeamCity 代理提供必要的凭证,并在之后将其删除。

你的提供商凭证通过 TeamCity 连接进行管理,而不是永久存储在单个构建代理上。

跟踪令牌使用情况

插件从代理运行中收集使用统计信息,并将其发布为 TeamCity 统计值,包括提示、完成、缓存和总令牌数量。

由于这些是常规的 TeamCity 统计信息,你可以使用它们来跟踪 AI 使用情况随时间的变化,并创建图表。这还可以帮助你发现令牌消耗的意外变化,并调查可能的成本异常。

检查和分析代理轨迹

当 AI 代理执行了出乎意料的操作时,查看其最终响应通常是不够的。你需要了解其过程中的具体情况。

插件会记录代理轨迹,并以两种格式提供:

  • HTML 为你提供代理消息、工具调用和令牌使用情况的可读视图。
  • JSON 使轨迹可用于程序分析。

JSON 格式尤其有用,当你想要一起分析多个代理运行时,例如了解代理为何表现出某种行为,或如何调整原始提示以获得更好的结果。

你也可以使用本地编码代理与 TeamCity CLI 结合,从多个构建中获取轨迹,并批量分析它们。这为你提供了一个实用的反馈循环:在 CI 中运行代理,收集其轨迹,分析多次运行中的情况,调整提示内容,然后再次尝试。

这使得轨迹既可用于调试单个构建,也可用于改进你在 CI 中运行的代理工作流程。

设置插件

从 JetBrains Marketplace 安装插件,并将其添加到你的 TeamCity 服务器中。

1. 创建连接

首先,你需要设置连接。插件支持各种 LLM 提供商和网关。打开 Project Settings | Connections。

支持的提供商:

输入连接所需的凭据并保存。

如果你使用的是 JetBrains Air,请输入你的服务账户的客户端 ID 和客户端密钥。每个团队都可以使用自己的服务账户,这使得可以跟踪共享 AI 使用情况和支出。

2. 添加 AI Agent 构建功能

打开你想要使用编码代理的构建配置,并添加 AI Agent 构建功能。

选择 Codex 或 Claude Code,然后选择提供商连接。

3. 添加你的提示

添加一个命令行构建步骤,并像往常一样调用 codex 或 claude。

使用 Codex:

bash
codex exec --ephemeral --skip-git-repo-check "summarize this repository"

使用 Claude Code:

bash
claude -p "summarize this repository"

插件会找到或安装所选的客户端,并为构建准备其配置。你可以将这些示例提示替换为你希望代理在构建过程中执行的任何任务。

查看代理做了什么

构建完成后,插件会将遥测数据和代理轨迹文件作为隐藏的构建产物发布在以下路径下:.teamcity/ai-agents/。

它还会发布统计值,例如提示、完成、缓存和总令牌数量。

为了更方便查看,插件会生成一个 HTML 报告,显示代理的消息、工具调用和令牌使用情况。

你可以直接从 TeamCity 构建结果中访问此报告。

前往 Project Settings | Report Tabs,创建一个构建报告标签,并使用 .teamcity/ai-agents/trajectory.html 作为起始页面,名称为 “AI Agent Trajectory”。这样你就可以在一个标签中查看代理在构建过程中做了什么。

关于敏感数据的说明

生成的产物可能包含提示、源代码和模型输出。请像处理其他敏感构建产物一样处理它们,并确保访问权限得到适当限制。

尝试使用插件

目前,该插件仍处于实验阶段,随着我们继续开发,其功能可能会发生变化。

你可以从 JetBrains Marketplace 安装它,并尝试在 TeamCity 构建中运行 Codex 或 Claude Code。

我们非常想了解你是如何使用它的,以及你希望我们改进的地方。请在 TeamCity Slack 社区中分享你的反馈。

ai agent

Claude Code

Codex

  • 分享
  • Facebook
  • Twitter
  • LinkedIn

上一篇

使用 TeamCity CLI 和 MCP 从 Rider 调试 Unity 构建