Together AI Blog

How we make Together AI easy for coding agents to use

8.5内容质量

TL;DR · AI 摘要

Together AI 通过运行代理评估来优化平台对编码代理的易用性,发现并解决了多个关键问题,提升了开发者体验。

核心要点

  • Together AI 通过代理评估发现平台对代理的易用性存在障碍。
  • GitHub 的 API、CLI 和文档为代理提供了极佳的使用体验。
  • Together AI 通过构建任务列表和三种配置方式评估代理表现。

结构提纲

按章节快速跳转。

  1. Together AI 发现越来越多开发者使用编码代理构建应用,但不确定代理是否能高效使用平台。

  2. 随着开发者将更多工作委托给代理,开发者体验(DX)与代理体验(AX)变得密不可分。

  3. ›GitHub 的 AX 案例

    GitHub 的 API、CLI 和文档极大提升了代理的使用体验,成为 AX 的典范。

  4. Together AI 通过构建任务列表和三种配置方式评估代理在平台上的表现。

  5. 任务列表包括运行批量推理作业、构建语音代理等常见任务,模拟真实用户需求。

  6. 包括基线配置、MCP 配置和工具配置,用于评估代理在不同条件下的表现。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Together AI 的代理评估
    • 代理评估的重要性
      • 开发者体验(DX)与代理体验(AX)的关系
      • GitHub 的 AX 案例
    • 如何运行代理评估
      • 任务列表构建
      • 三种配置方式

金句 / Highlights

值得收藏与分享的关键句。

  • GitHub 的 API、CLI 和文档极大提升了代理的使用体验,成为 AX 的典范。

    — 第 3 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 任务列表包括运行批量推理作业、构建语音代理等常见任务,模拟真实用户需求。

    — 第 4 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • Together AI 通过构建任务列表和三种配置方式评估代理在平台上的表现。

    — 第 5 段

    ⬇︎ 下载 PNG𝕏 分享到 X
#Together AI#代理评估#开发者体验#API#CLI
打开原文

我们如何让 Together AI 更易于编码代理使用

今年早些时候,我们开始看到越来越多的开发者使用编码代理来使用 Together AI 进行开发。

原因显而易见:手动为生产推理搭建一个应用程序可能需要几天甚至几周的时间,特别是对于刚接触平台的开发者来说。但对使用我们 SDK 和 CLI 的代理来说,只需几分钟即可完成——至少理论上是这样。

实际上,我们并不清楚代理是否能与我们的平台高效地协同工作,或者它们是否遇到了障碍、陷入困境,甚至完全失败,从而浪费了大量 tokens。

随着开发者将越来越多的工作委托给代理,开发者体验(DX)越来越与代理体验(AX)紧密相关。你的软件越容易被代理使用,开发者就越容易将其集成到自己的产品和工作流程中。

GitHub 是一个 AX 优秀的典型案例:过去一年中,平台上的活动量增长了三倍,代理在 2026 年打开了所有 PR 的约 40%(我们敢打赌,它们在所有提交的代码行中撰写的比例远不止 40%)。这要归功于 GitHub 非凡的 API、CLI 和文档,这些都使代理使用起来异常方便。(就连本文作者在代理开始为他使用 GitHub 的 CLI 之前,都不知道 GitHub 有 CLI,现在他可能每天使用它超过 1000 次。)

为了提升 Together AI 的 AX,我们需要一种方法来衡量我们的平台实际上有多“代理友好”。在本文中,我们将介绍我们如何运行代理评估,它们揭示出的两个问题以及我们如何解决这些问题,以及我们学到的经验。

我们在 Together 如何运行代理评估

构建任务列表

在开始评估之前,我们需要知道代理实际上被要求执行哪些任务……这样才能判断它们是否能完成这些任务。我们开始构建一个常见任务列表,这些任务是开发者在 Together 上经常处理的,例如运行一个批量推理作业、构建一个语音代理,或管理推理端点的自动扩展。

在这里,我们所说的“任务”实际上只是一个提示,即你告诉代理去做的事情——例如:

列出可用的 GPU 集群区域和实例类型,打印最便宜的选项,并显示你运行命令以按需保留它一小时的确切命令。不要实际保留它。

要通过评估,代理必须:

  • 找到最新的定价信息。
  • 调用区域 API 端点以列出可用区域。
  • 将两者结合起来找到最便宜的选项。
  • 生成一个有效的 CLI 命令以创建集群。

这个提示同时要求提供可用性和价格信息,但没有提到这些信息分别存储在两个不同的地方。这是现实的,因为普通用户可能事先并不知道每条信息存储在哪里,这可能会让人类和代理都容易出错。

三种配置

在构建任务列表之后,我们以三种方式运行每个任务:

  • 基线:代理仅接收提示,没有任何特殊配置,模拟普通开发者的流程。它可以使用所有默认工具,例如从网络上获取文档,但我们不会给它任何特定的 MCP 连接器或技能。
  • MCP:代理通过我们的 MCP 服务器直接访问我们的文档,因此它在遇到障碍时知道确切的搜索位置。
  • 技能:我们为代理提供了 Together 技能包,其中包含使用我们服务的说明和示例,这些内容是专门为代理编写的。

运行矩阵

每次完整的评估都会使用三种模型,对每个任务和每个代理配置进行运行,每个任务会有两次尝试——因此每个配置每个任务会有六次尝试,如下图所示,这是我们在9月30日的运行结果:

代理在215次评分运行中通过了192次。GPU集群任务在所有基线运行中都失败了,但在所有技能运行中都通过了。

自动化运行

在我们开始构建评估系统时,我们是手动运行所有内容的:打开一个新的终端,将提示信息粘贴到 Claude Code 中,让代理执行任务(或者无法执行任务),然后对每个配置重复这个过程。这个过程是手动且繁琐的,因此一旦我们明确了想要构建的系统结构,我们就开始对其进行自动化。

现在,我们每个代理都在 Together 的沙箱环境中运行,这样它们就不会干扰我们的本地环境或彼此之间。GitHub Actions 负责设置环境、启动代理、运行后清理,并保存结果,而一个代理则处理代理对 Together API 的请求并记录活动,这样我们就能看到代理调用了哪些接口以及返回了什么内容。

评分运行

运行结束后,一个 LLM 评委会查看任务提示和记录的会话,然后分配以下三种判决之一:

  • 通过:所有任务要求都已满足。
  • 未完成:代理尝试了任务,但某些必要的步骤未完成或未验证。
  • 失败:代理过早放弃、违反了明确的约束条件,或者产生了错误的结果(RIP)。

失败和未完成的判决并不一定告诉我们问题出在代理、API 还是缺少证据上。它们只是告诉我们从哪里开始查找问题。

我们也会调查通过的运行。代理通常可以绕过令人困惑的响应并仍然完成任务,这些恢复情况向我们展示了如何改进以提高令牌效率。

为了使这一审查变得可行,我们构建了一个结果查看器,用于比较不同模型和配置的表现。对于每次运行,它会显示提示信息、代理使用的工具、收到的响应以及任何 API 活动:

我们的结果查看器在 GPU 集群任务中的比较。两个指导设置都通过了,而技能运行使用的工具调用最少,成本也最低。

案例研究 1:GPU 集群定价

还记得之前提到的 GPU 集群任务吗?

看起来相当简单,但去年夏天我们早期运行评估时,Sonnet 4.6 即使启用了技能,也只能在这项任务的15次尝试中通过4次。

我们的事后分析显示,失败的运行中出现了相同的模式:Sonnet 将我们 CLI 参考中的示例输出(列出一个区域和两种 GPU 类型)视为实时库存。它还跳过了区域查找,并在没有查看定价页面的情况下,直接命名了它认为最便宜的选项。

问题出在我们这边。首先,示例输出没有正确标记,因此没有任何提示告诉代理运行命令以获取相关数据。其次,我们的技能文件链接到了 GPU 集群的营销页面,而不是定价表,因此 Sonnet 打开了营销页面,没有看到任何实际价格,只是对最便宜的 GPU 做了最佳猜测。

更强大的模型能够绕过这个问题。在同一时期,Opus 4.8 在使用相同配置的情况下,14 次尝试中成功了 13 次。根据记录,它注意到 list_regions 的响应中没有包含价格信息,因此它继续搜索,直到在我们的文档中找到它们。这就是为什么测试产品时使用能力较弱的模型至关重要;如果我们只用 Opus 进行测试,找到这个漏洞将需要我们更长的时间。

隔离故障

为了解决这个问题,我们通过将 GPU 集群技能从完整的技能包中分离出来,并编写了一个更窄的提示,仅重现这个问题,从而隔离了故障。在使用旧技能文件进行测试时,它每次都会失败,因此我们有了可靠的复现步骤(使用旧技能),并有了一个简单的方法来测试每个新版本(更新技能)。

我们经历了几次迭代,直到我们发现了一个小的改动:在技能中添加了两个新的句子,引导代理查看定价表,并解释如何通过 live regions API 使用它:

查询 GET <https://api.together.ai/v1/compute/regions> 或运行 tg clusters list-regions --json 以获取实时区域库存、支持的实例类型和兼容的 CUDA/驱动对。打开 GPU 集群定价表以查看当前的按需和预留价格。

在进行这个更改后,使用启用技能配置的测试任务在所有模型中都通过了 100%。

发现 API 中的漏洞

同样的 GPU 任务也暴露了我们 API 中的一个问题。在最近的一次基线运行中,Opus 5.5 得到了一个不完整的判断结果,记录显示它遇到了两个并非模型原因的死胡同。

运行开始时一切顺利。代理调用了 /v1/compute/regions 来获取区域和实例类型。然后,为了查找价格,它调用了 /v1/compute/instance-types,API 返回了 400 错误,并附有以下信息:

区域是必需的。示例:us-central-8。使用 /v1/clusters/regions 获取区域列表。

于是代理按照错误提示做了以下操作:

  • 它用第一次查询中获取的区域重新发送了请求。但这次它没有得到实例类型,而是得到了 404 错误。
  • 它调用了 /v1/clusters/regions,这是错误提示建议的路由……但该路由并不存在,因此它又收到了另一个 404 错误。

我们自己的错误信息将代理引导到了一个不存在的路由,而本应成功的重试也失败了。如果一个人手动遵循这个消息,也会陷入同样的困境。我们已经修复了错误信息,使其指向 /v1/compute/regions,并修复了导致第一个 404 错误的路由错误。

案例研究 2:重建我们的技能包

我们过去维护了 14 个独立的 Together 技能,每个产品界面一个。使用这些技能非常麻烦:你必须事先知道哪些技能适用于你的工作流程,然后逐一安装和调用它们。这些技能之间还有重叠,重复了相同的 SDK 指导和设置说明,每个技能都足够长,以至于同时加载几个技能可能会使代理的上下文变得臃肿。

上个月,我们将这 14 个技能合并为一个统一的版本。它在内部仍然是模块化的:为了避免上下文臃肿,代理首先读取一个简短的路由器,然后仅在路由器认为相关时才打开每个产品指南、参考文件或示例脚本。

我们希望一个技能能胜过 14 个,但为了确保这一点,我们使用启用技能的配置,将统一技能运行在我们的评估任务中。我们的标准是 9 月 30 日的结果,即在使用 14 个技能配置的所有运行中,通过率为 90%。

但这项新技能表现不佳——它只通过了72次运行中的54次(75%),留下的未完成运行从7次增加到了18次,而且每次运行的成本是原来的两倍多。

于是我们仔细查看了评估的转录内容,并只在运行结果指出了问题的地方对技能进行了修改。有三个问题反复出现:

  • 过多的上下文信息:第一个统一的路由器大约有14,000个字符,每个任务都会加载它,并指示代理阅读每一份指南的全部内容。(看来避免上下文膨胀的尝试失败了……)运行结果最终加载的技能内容比使用14个独立技能时多了57%。我们把路由器缩减到不到6,000个字符,并在每个产品指南的结尾添加了一个菜单,简要描述了每个参考和脚本的内容,这样代理只需打开他们需要的部分。
  • 过时的产品信息:一些代码示例中使用的模型在无服务器环境中已不再提供,而一个产品指南覆盖了一个已弃用的功能。代理浪费了很多回合去恢复或重试那些注定不会成功的请求。我们把所有示例迁移到了确认可用的模型上,指示代理去查看目录而不是重试,并创建了一个云代理,以自动响应产品变化来更新技能。
  • 示例代码中的错误:脚本中的一些小问题,例如将JPEG字节保存为.png名称,会导致所有使用这些脚本的代理都出错。我们在源头修复了这些问题,并添加了一个自动化工具,定期对代码示例进行实时测试,以确保它们始终保持最新。

在这些修复完成后,统一技能通过了72次运行中的70次,比我们第一次尝试提高了22分,比我们最初使用的14个技能提高了7分。运行时间平均比原始技能减少了20%,每次运行的成本也回落到了最初水平。

第一个统一技能将通过率降至75%,并使每次运行的成本翻倍。在评估发现的修复后,最终版本的通过率达到了97.2%,与原始成本相同。

经过四个月评估后的进展

早在6月,我们的文档和技能对代理的帮助非常有限。6月15日,运行Opus 4.8时,基准测试通过了75%的运行。无论是文档MCP(67%)还是技能(75%),都没有显著提升性能。

到9月30日,跨三个模型的基准测试已提升至82%。文档MCP达到96%,技能达到90%,而新的统一技能在10月8日达到了97%。

这不是一个受控比较——这些快照使用了不同的模型和任务,因此这些提升中的一部分无疑来自于底层模型的改进,以及我们对CLI和SDK的改进。这可能解释了基准测试7分的提升,但受指导的设置提升了20多分,我们相信这些额外的提升来自于我们的评估发现的文档和技能的修复。

从6月到秋季,文档MCP的通过率提高了29分,技能提高了22分,而基准测试仅提高了7分。快照使用了不同的任务、模型和技能版本。

我们学到的经验

如果你只是快速浏览这篇文章,以下是简要总结:

  • 提高代理的可访问性会增加使用率:要像GitHub那样:开发人员通过Web GUI可以手动完成的所有操作,也应该通过你的CLI或SDK以编程方式提供。我们发现代理使用CLI效果最好,因为CLI通过帮助文本来自我文档化。说到这个——
  • 文档是产品的重要组成部分:如果文档不准确或无法访问(例如使用 llms.txt、技能包或 MCP 服务器),您的平台对代理来说可能无法使用。CLI 帮助文本和 API 错误信息也属于文档的一部分,这些通常是代理在遇到问题时首先查看的地方。
  • 指导比使用哪种前沿模型更重要:9 月 30 日,所有三种模型(Claude Sonnet、Opus 和 GPT Sol)的得分彼此之间仅相差几个点。添加我们的文档和技能包后,通过率分别从 82% 提高到了 96% 和 97%。
  • 相反,仅使用强大的模型有时会掩盖问题:Opus 能够绕过我们 API 和技能包中的一个漏洞,而 Sonnet 则直接撞上了这个漏洞——正是通过这种方式,我们发现了并修复了这个问题。在进行评估时,请确保测试不同能力范围的模型。
  • 改进 AX 通常只需要一个小的修复:我们在技能文件中添加了两句话,使我们的 GPU 集群评估从 Sonnet 的 15 次任务中通过 4 次提升到了所有三个模型的 100% 通过率。这个修复很小,但如果没有评估过程,我们可能永远都不会发现这个问题。

运行您自己的评估

如果您正在运行一个开发平台,代理正在使用您的产品,或者至少他们正在尝试这样做。了解进展的最佳方式是构建您自己的评估系统。

为了帮助您实现这一点,我们正在开源我们用于构建评估的软件包。您只需创建一个任务列表(代理提示),并决定如何对运行结果进行评分(使用代码测试或 LLM 评判)。该软件包将启动代理、执行任务,并在本地仪表板上跟踪所有信息,这样您就可以比较不同配置和历史运行结果。该软件包将在下周发布,同时还将发布另一篇关于如何使用它的博客文章。