AWS Machine Learning Blog

Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard

8.5内容质量
Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard

TL;DR · AI 摘要

AWS联合NVIDIA推出基于NeMo Switchyard的智能路由方案,通过LiteLLM实现编码代理请求的模型动态分配,显著降低任务成本。

核心要点

  • 使用Stage routing和Random routing策略可降低30%以上任务成本
  • AWS CDK部署LiteLLM需配置switchyard-server 0.3.0和v1.102.0镜像
  • 任务成本=总运行费用/通过测试的运行次数,而非单纯按token计费

结构提纲

按章节快速跳转。

  1. 传统按token计费模式无法准确反映实际任务成本,需采用新评估标准。

  2. NeMo Switchyard通过Stage/Random策略动态选择模型,优化成本效益。

  3. 使用AWS CDK部署LiteLLM网关并集成Switchyard插件。

  4. 通过基准测试对比路由组与单模型组的成本差异。

  5. 示例代码仅用于非生产环境,需经安全合规团队审核。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 智能模型路由方案
    • 核心组件
      • NeMo Switchyard
      • LiteLLM
    • 路由策略
      • Stage routing
      • Random routing
    • 部署架构
      • AWS Fargate ECS容器
      • 私有子网部署

金句 / Highlights

值得收藏与分享的关键句。

#AWS#Amazon Bedrock#NVIDIA NeMo#LiteLLM#编码代理
打开原文

使用NVIDIA NeMo Switchyard在Amazon Bedrock上将编码代理请求路由到正确的模型 | 人工智能

使用NVIDIA NeMo Switchyard在Amazon Bedrock上将编码代理请求路由到正确的模型

像Claude Code和OpenAI Codex CLI这样的编码代理通过执行任务来工作。开发人员提出一个需求时,代理会读取文件、修改代码并运行测试,直到任务完成。一个任务可能需要几次模型调用,也可能需要数十次。开发人员支付的是任务费用,而不是单次调用的费用。

仅凭每token的价格无法准确计算整个任务的成本。总成本取决于模型需要多少轮交互、每轮交互需要回放多少历史记录,以及任务需要重试的频率或是否永远无法完成。您需要为所有尝试付费,包括那些永远无法完成任务的尝试。因此在模型之间路由编码代理请求时,应以每个解决任务的成本作为评判标准:即运行总成本除以通过测试的运行次数。

NVIDIA NeMo Switchyard是一个开源库,帮助AI代理选择处理每个请求的模型。您可以定义它可用的模型和遵循的策略。其LiteLLM集成支持两种策略。阶段路由会读取请求历史中的近期工具活动和结果,然后从两个候选模型中选择一个。随机路由会从配置的模型中随机选择,可选权重用于流量分割和A/B测试。另一个可探索的选项是LiteLLM,它最近也推出了原生内置的Switchyard阶段路由器作为自动路由策略。

在本文中,您将使用AWS云开发工具包(AWS CDK)在AWS账户中部署LiteLLM(一个大型语言模型的开源网关),并集成Switchyard路由插件。LiteLLM会调用Amazon Bedrock上的模型。然后您将使用示例中的基准测试运行器,测量路由模型组和单模型基准组的每个解决任务成本,从而评估路由策略在您自己的工作负载中的表现。

注意:该示例从crates.io安装switchyard-server 0.3.0,并运行已发布的LiteLLM v1.102.0镜像。NVIDIA将switchyard-server 0.3.0文档化为演示和评估组件,其配置可能在不同版本之间发生变化。此示例使用实验性的Switchyard LiteLLM集成,其配置和API可能在不同版本之间发生变化。这是示例代码,仅用于非生产环境。部署前请与安全和法律团队合作,确保符合组织的安全、监管和合规要求。请在非生产账户中部署此示例,并在依赖它之前进行测试。

解决方案概述

图1展示了该解决方案的架构。LiteLLM和Switchyard插件运行在Amazon Elastic Container Service(Amazon ECS)上的一个容器镜像中,通过AWS Fargate在私有子网中运行。

图1:解决方案架构

请求流程经过以下步骤。数字与图示对应。

  • 编码代理发送一个OpenAI兼容的请求,将model字段设置为switchyard(Switchyard路由的LiteLLM模型组),并在Authorization头中包含共享网关密钥。端点是通过HTTPS的主机名,负载均衡器上使用AWS证书管理器(ACM)证书,且只有您允许的IPv4 CIDR范围可以访问。通过Amazon Route 53的托管区域,Route 53将主机名解析到负载均衡器。
  • AWS WAF 通过 IP 声誉、已知恶意输入和每 IP 速率限制规则过滤请求。应用负载均衡器仅将 /v1/chat/completions、/v1/models 和 /health/liveliness 路径转发到私有子网中的 ECS 任务,其他所有路径均返回 404。
  • 该任务运行一个容器:集成 Switchyard 插件的 LiteLLM。LiteLLM 验证网关密钥并调用插件选择模型。Stage 策略在功能强大模型与低成本高效模型之间进行选择。它会读取请求历史中的工具活动和结果,因此代理必须发送完整的对话历史。Random 策略从加权池中随机选择。两种策略均不调用仲裁模型。
  • LiteLLM 通过 Amazon Bedrock Converse 或 ConverseStream API 调用选定模型,使用任务的 AWS Identity and Access Management (IAM) 角色进行凭证认证。调用请求经 Amazon VPC 内的 Amazon Bedrock Runtime 接口端点处理,因此推理流量始终在 AWS 网络内传输。
  • 响应或 token 流经 LiteLLM 和负载均衡器返回。x-litellm-model-name 响应头标明响应模型名称。响应体的 model 字段始终为 switchyard。

LiteLLM 在容器内监听 4000 端口,是负载均衡器的目标,任务的安全组仅允许负载均衡器访问。路径白名单使 LiteLLM 管理界面、API 文档和密钥管理路由不可达。Amazon Elastic Container Registry (Amazon ECR) 存储网关镜像。AWS Secrets Manager 生成网关密钥对应的密钥,容器启动时会添加 sk- 前缀。任务定义通过 LITELLM_CONFIG_TEXT 和 SWITCHYARD_CONFIG_TEXT 传递配置文件,启动脚本在启动 LiteLLM 前将其写入 /tmp。日志记录到一个 Amazon CloudWatch 日志组 /<stack name>/litellm,保留 30 天,Container Insights 收集指标。VPC 跨越两个可用区,一个 NAT 网关提供镜像拉取和其他 AWS 服务的出站访问。

插件支持需要恰好两个候选的 Stage 路由策略,以及需要至少两个候选并通过权重分配流量进行 A/B 测试的 Random 路由策略。基于分类器的策略(如 Task 和 Composite 路由)需要中间模型调用,当前集成不支持。完整策略目录请参阅 Switchyard 路由概览。

先决条件

要完成本操作指南,您需要以下内容:

  • 一个非生产环境 AWS 账户,具有访问 Claude Opus 5.5 和 NVIDIA Nemotron 3 Super 120B 的 Amazon Bedrock 权限。该组合已在 US East (N. Virginia) 区域测试过。对于其他 AWS 区域,请查看模型和工具调用支持的区域可用性。
  • 配置了凭证和显式 AWS 区域的 AWS Command Line Interface (AWS CLI) v2,且账户和区域已为 AWS CDK 初始化。
  • Node.js 20 或更高版本、npm、带 BuildKit 的 Docker 以及 Python 3.11 或更高版本。
  • 您拥有的一个主机名,其域名需配置公共 Route 53 主机记录或部署区域内的 ACM 证书。简短的 HTTP 测试无需这些配置。

操作指南

您将定义模型组、配置 Stage、部署并测试网关,最后测量成本。首先克隆示例仓库:

code
git clone https://github.com/aws-samples/sample-route-coding-agent-requests-Amazon-Bedrock-nemo-switchyard.git
cd sample-route-coding-agent-requests-Amazon-Bedrock-nemo-switchyard

步骤 1:在 LiteLLM 中定义模型组

LiteLLM 模型组对应一个公开模型名称及其背后的一个或多个部署实例。示例将配置文件存储在 profiles/ 目录下的部署配置文件中。每个配置文件包含 litellm.yaml(定义模型和网关设置)和 switchyard.toml(控制 Switchyard 如何选择模型)。以下 profiles/stage/litellm.yaml 配置片段定义了路由 switchyard 组、两个单模型基准组以及插件注册:

code
model_list:
  - model_name: switchyard
    litellm_params:
      model: bedrock/converse/global.anthropic.claude-opus-5-5
      aws_region_name: os.environ/AWS_REGION
  - model_name: switchyard
    litellm_params:
      model: bedrock/converse/nvidia.nemotron-super-3-120b
      aws_region_name: os.environ/AWS_REGION
  # 单模型基准组,使用与路由候选相同的模型字符串
  - model_name: claude-opus-5-5
    litellm_params:
      model: bedrock/converse/global.anthropic.claude-opus-5-5
      aws_region_name: os.environ/AWS_REGION
  - model_name: nemotron-super-3-120b
    litellm_params:
      model: bedrock/converse/nvidia.nemotron-super-3-120b
      aws_region_name: os.environ/AWS_REGION

# 相同配置对象用于选择部署并应用支持的请求修改
router_settings:
  plugins:
    - switchyard_gateway.configured.ROUTING_PLUGIN
litellm_settings:
  callbacks:
    - switchyard_gateway.configured.ROUTING_PLUGIN
  drop_params: true
  request_timeout: 600
  num_retries: 2
general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

两个候选模型共享 model_name: switchyard,因此客户端发送 "model": "switchyard",由 Switchyard 选择具体候选模型。将能力更强的模型列在前、效率更高的模型列在后,因为 Stage 会按照此顺序读取角色配置。

claude-opus-5-5 和 nemotron-super-3-120b 组是单模型基准组。每个组始终使用自身模型进行响应,因此可以将路由组的成本和通过率与相同部署中单独使用每个模型的情况进行对比。Stage 插件本身会拒绝没有两个候选模型的组,因此图像注册了一个小型包装器 switchyard_gateway.configured.ROUTING_PLUGIN。该包装器会将 Switchyard 应用于包含两个或更多唯一候选模型的组,同时直接通过单模型组。配置中注册了该包装器两次:一次用于选择模型,另一次用于应用 Switchyard 记录的请求修改。

所有模型均使用 bedrock/converse/<id> 格式,因此所有候选模型均通过 Amazon Bedrock Converse API,验证过程会拒绝任何其他路由。LiteLLM 的 600 秒请求超时时间与负载均衡器的 10 分钟空闲超时时间匹配。

该文件不包含任何凭证信息。LiteLLM 从环境变量中读取网关密钥,任务角色提供 AWS 凭证。切勿在 litellm_params 中添加 aws_access_key_id、aws_secret_access_key 或 api_key 等凭证:堆栈会将整个 litellm.yaml 文件以明文形式复制到任务定义和 AWS CloudFormation 模板中。

code

堆栈会从该文件推导任务角色的 Amazon Bedrock 权限。对于全局跨区域推理配置文件,基础模型资源使用 * 区域和尾随 *,因此也会匹配具有相同前缀的其他模型 ID。部署前请检查推导出的策略。

global. 前缀标识全局跨区域推理配置文件,Amazon Bedrock 可能会在全球支持的商业 AWS 区域处理这些请求。如果处理位置有要求,请改用地理配置文件或区域内部模型 ID。对于 Nemotron 3 Super,配置文件使用区域内部模型 ID nvidia.nemotron-super-3-120b,您可以将其替换为任意模型进行测试。

### 步骤 2:配置 Stage 路由

Switchyard 从 switchyard.toml 文件读取其算法和设置。默认配置文件 profiles/stage/switchyard.toml 配置 Stage:

模型库存位于 litellm.yaml。此文件配置选择行为。

algorithm = "stage"

当历史信号不明确时,优先选择高效候选模型。

picker = "efficient_first" confidence_threshold = 0.5

检查最近的三个工具结果以获取执行信号。

recent_window = 3 only_on_wrong_signal_escalation = true

code

设置的工作方式如下:

- picker = "efficient_first":当历史中的信号不明确时,Stage 会使用高效模型。新请求尚未有工具结果,因此会路由到 Nemotron 3 Super。

- confidence_threshold:Stage 对执行信号评分的置信度阈值,范围从 0 到 1。

- recent_window = 3:Stage 会检查最近的三个工具结果。

- only_on_wrong_signal_escalation = true:Switchyard 的默认设置。它控制 Stage 添加可选升级说明的时机,此配置文件未设置任何说明。

Stage 还接受可选的交接说明和每级系统提示(escalation_note、deescalation_note、capable_system_prompt 和 efficient_system_prompt)。示例配置文件未设置这些内容。

对于 A/B 测试,profiles/random/ 中的 Random 配置文件使用相同的模型,算法设置为 "random",权重为 [0.5, 0.5],每个唯一候选模型按声明顺序分配一个权重。要部署它,请在步骤 3 的 cdk diff 和 cdk deploy 命令中添加 -c routingProfile=random。

堆栈在合成时会同时验证这两个文件,预检脚本也会运行相同的检查。若要独立检查配置文件更改(不调用 AWS),请运行 npm run validate:profile -- stage。无效设置会在 LiteLLM 启动时阻止其运行,不支持的消息格式会在推理前失败。

### 可选:本地运行网关

在部署任何内容之前,您可以在本机尝试运行网关。Docker Compose 会构建与堆栈部署到 Amazon ECS 相同的镜像,并读取相同的配置文件。从仓库根目录运行:

npm ci cp .env.example .env

export LITELLM_MASTER_KEY="sk-$(openssl rand -hex 24)" eval "$(aws configure export-credentials --format env)"

ROUTING_PROFILE=stage docker compose up --build --wait GATEWAY_URL=http://127.0.0.1:4000 ROUTING_PROFILE=stage scripts/smoke-test.sh

code

你导出的密钥会覆盖.env文件中的占位符,因此Compose和烟雾测试使用的是同一个密钥。AWS凭证仅从你的shell环境中获取,永远不会写入.env文件或配置文件。Compose仅在127.0.0.1上发布网关。本地没有负载均衡器,因此烟雾测试会跳过闭合路径检查。本地网关仍然会调用Amazon Bedrock,这些调用会产生费用。完成操作后,运行`docker compose down`。

### 第3步:部署网关

网关在你拥有的主机名上提供HTTPS服务。将GATEWAY_DOMAIN设置为该主机名,将HOSTED_ZONE设置为包含该主机名的现有Route 53公共托管区域。AWS CDK随后会创建DNS验证的ACM证书和别名记录。从仓库根目录安装依赖项,运行只读预检检查并部署:

npm ci

export AWS_REGION=us-east-1 export AWS_DEFAULT_REGION="$AWS_REGION" eval "$(aws configure export-credentials --format env)" export CDK_DEFAULT_REGION="$AWS_REGION" export CDK_DEFAULT_ACCOUNT="$(aws sts get-caller-identity --query Account --output text)" export ALLOWED_CIDR="$(curl -4 -fsS --connect-timeout 5 --max-time 15 https://checkip.amazonaws.com)/32" export GATEWAY_DOMAIN=llm-gateway.example.com export HOSTED_ZONE=example.com

scripts/preflight.sh npx cdk diff -c allowedCidr="$ALLOWED_CIDR" \ -c domainName="$GATEWAY_DOMAIN" -c hostedZone="$HOSTED_ZONE" npx cdk deploy -c allowedCidr="$ALLOWED_CIDR" \ -c domainName="$GATEWAY_DOMAIN" -c hostedZone="$HOSTED_ZONE"

code

如果域名的DNS不在Route 53中,请改用现有的ACM证书。将CERTIFICATE_ARN设置为部署区域中主机名的ACM证书,并在两个命令中将`-c hostedZone="$HOSTED_ZONE"`替换为`-c certificateArn="$CERTIFICATE_ARN"`。AWS CDK随后不会创建证书和DNS记录。部署完成后,创建一个CNAME记录(或Route 53别名),将主机名指向LoadBalancerDnsName输出值。

必需的allowedCidr值限制了可以访问负载均衡器的网络,该命令会将其设置为你的当前公网IPv4地址。请保持为自己的/32地址:所有共享允许地址的用户(如办公室NAT或VPN出口)都可以访问端点。如果未指定allowedCidr,或使用了0.0.0.0/0等开放范围,或IPv6范围,堆栈将拒绝合成。

预检会检查配置、工具和AWS访问权限(包括对配置文件中每个模型的访问权限),但不会发起推理请求。AWS CDK会构建网关镜像,将其发布到Amazon ECR,并部署堆栈。部署会输出以下内容:

输出项 | 说明
--- | ---
GatewayUrl | 基础URL。兼容OpenAI的API位于`/v1`路径下
MasterKeySecretArn | 网关密钥背后的Secrets Manager密钥。完整密钥格式为`sk-`加上密钥值
MasterKeyCommand | 打印网关密钥的命令
SmokeTestCommand | 填充了堆栈名称、区域和配置文件的烟雾测试命令
RoutingProfile | 当前路由配置文件,默认为stage
ClusterName, ServiceName | ECS集群和服务名称。密钥轮换步骤会使用这些值
LoadBalancerDnsName | 仅在指定certificateArn时输出:用于指向主机名的DNS名称

始终向客户端提供https:// URL。80端口仅用于重定向到HTTPS,配置为http://的客户端在收到重定向时已经以明文方式发送了密钥和首次请求。

负载均衡器的空闲超时设置为10分钟,适用于长时间的代理响应。Web ACL使用Amazon IP声誉列表和已知恶意输入规则组。它还会限制每个IP地址在5分钟内最多发送2000个请求。它排除了针对跨站脚本、SQL注入和正文大小的通用正文规则,这些规则会被代理请求中的源代码触发。allowedCidr范围和网关密钥的配置仍然有效。

通过普通HTTP进行快速测试。如果没有HTTPS配置,synth会报错停止。对于不使用域名的简短测试,可以通过负载均衡器的DNS名称启用普通HTTP:

npx cdk deploy -c allowedCidr="$ALLOWED_CIDR" -c allowPlainHttp=true

code

当设置allowPlainHttp=true时,AWS CDK每次合成堆栈时都会打印警告。Authorization头中的网关密钥、您的提示内容、代理发送的工具结果和源代码,以及模型响应会在客户端和负载均衡器之间以明文形式传输。仅在使用来自您自己的/32的非敏感代码进行简短测试时启用此选项。测试完成后请轮换密钥,并运行cdk destroy。之后若要将相同堆栈迁移至HTTPS,可再次部署时启用HTTPS配置并关闭allowPlainHttp参数。

### 第4步:测试网关

在部署时使用的终端中,读取AWS CloudFormation堆栈输出并构建网关密钥:

export STACK_NAME=SwitchyardGateway

output() { aws cloudformation describe-stacks --region "$AWS_REGION" --stack-name "$STACK_NAME" \ --query "Stacks[0].Outputs[?OutputKey=='$1'].OutputValue" --output text }

export GATEWAY_URL="$(output GatewayUrl)" export LITELLM_MASTER_KEY="sk-$(aws secretsmanager get-secret-value --region "$AWS_REGION" \ --secret-id "$(output MasterKeySecretArn)" --query SecretString --output text)"

code

向switchyard模型组发送请求:

curl -sS -i --connect-timeout 10 --max-time 180 "$GATEWAY_URL/v1/chat/completions" \ -H "Authorization: Bearer $LITELLM_MASTER_KEY" \ -H "Content-Type: application/json" \ -d '{"model":"switchyard","messages":[{"role":"user","content":"Reply with the word hello."}],"max_tokens":128}'

code

查看HTTP 200状态码和响应内容。x-litellm-model-name响应头会显示所选模型为完整的LiteLLM模型字符串。新请求没有工具结果可供评分,因此Stage会选择高效的模型bedrock/converse/nvidia.nemotron-super-3-120b。

要检查健康状态、认证和路由,运行烟雾测试:

ROUTING_PROFILE="$(output RoutingProfile)" scripts/smoke-test.sh

code

烟雾测试会检查健康端点、/ui等封闭路径是否返回负载均衡器自身的404错误、缺少密钥的请求是否返回401错误,以及/v1/models是否列出所有模型组。对于Stage,它会验证普通请求是否选择高效模型,并检查重复失败记录是否升级到能力模型。然后它会向每个基线组发送一个请求。请求和烟雾测试会产生可计费的Amazon Bedrock调用。

要使用自己的代理,请使用 $GATEWAY_URL/v1 作为其 OpenAI 兼容的基准 URL,使用网关密钥作为其 API 密钥,并将 switchyard 作为模型。Stage 需要完整的支持请求历史记录,包括每次请求。上游适配器支持文本消息、函数工具调用和文本工具结果,不支持的消息格式会在推理前失败。负载均衡器会转发 Chat Completions 路径,但不会转发 OpenAI Responses 或 Anthropic Messages 路径。使用这些 API 的客户端在添加路径、在本地容器上测试并重新部署前会收到 404 错误。

### 步骤 5:测量每个解决任务的成本

示例中的编码运行器 bench/run.py 允许小型编码代理列出和读取文件、替换源文件,并通过网关运行提供的单元测试。当任务的测试在默认的六次模型轮次结束时通过,任务即被解决。列出任务并从路由组开始使用 slugify:

python3 bench/run.py --list-tasks python3 bench/run.py --tasks slugify --model switchyard --max-turns 6

code

终端会显示任务、所选模型、工具操作、测试结果和最终的代码差异。每次运行都会在 bench/results/ 下保存其初始文件、最终工作区、对话记录、补丁和结果。

任务 | 代理必须执行的操作
--- | ---
slugify | 修复一个构建 URL slug 的简短函数。
roman | 编写一个将整数转换为罗马数字的函数。
calc | 编写一个不使用 `eval` 的表达式解析器,支持优先级、幂运算符、函数和错误处理。
lru_ttl | 编写一个线程安全的最近最少使用(LRU)缓存,支持每项过期时间和精确计数器。

为了给算术解析器任务腾出空间运行测试和尝试修复,提高轮次限制:

python3 bench/run.py --tasks calc --model switchyard --max-turns 12

code

运行结束后,运行器会按模型组打印一行数据,包含 RUNS(运行次数)、SOLVED(解决次数)、ERRORS(错误次数)、COST/TASK(每任务成本)和 COST/SOLVED(每解决成本)列。每解决任务的成本是组内所有运行的预估成本除以测试通过的运行次数。运行器根据模型响应中的 x-litellm-model-name 头部和令牌使用量,通过 bench/run.py 中的 PRICES 表为每次模型轮次定价。如果输入被缓存、模型没有 PRICES 条目或响应缺少头部或令牌计数,则该轮次不计入成本而非零。在将模型添加到配置文件时添加 PRICES 条目,并检查 Amazon Bedrock 的当前定价。在两个任务上的少量运行演示了工作流程,但不足以得出关于成本或质量的结论。

当组内任何运行未定价时,会显示 n/a 并标注原因;当没有运行成功时,COST/SOLVED 显示为 -。要查看成本去向,检查轮次:终端会打印每个轮次的模型,bench/results/ 下的对话记录也会记录这些信息。

为了比较完整对话,bench/multiturn.py 会对每个编码任务运行代理循环,首次提示包含项目文件,每次编辑后将测试输出反馈回来。它还会运行四次脚本化的七轮对话,交替进行简单轮次与设计、调试和编码轮次,并在每次轮次中重放完整历史记录。带有廉价检查(预期文本、字数限制、项目符号或对返回函数的断言)的轮次会记录检查是否通过。设计响应不进行评分。

python3 bench/multiturn.py --tasks slugify --scripts backend api --max-spend 2

code

## 解读你的结果

该示例中的任务较小且具有说明性。要判断路由是否适合你的工作负载,请用代表你自身代码库的任务替换或扩展它们,并在阅读运行器输出时牢记以下几点:

- 从 SOLVED 开始,然后查看 COST/SOLVED – 解决任务较少的组可能显示较低的 COST/TASK,但每个已解决任务的实际成本仍可能更高,因为失败的运行会增加成本但不会增加已解决任务数量。在比较每个组解决的任务数量后,再将路由组的 COST/SOLVED 与每个基线组进行对比。

- 单独查看困难任务 – 聚合数据可能掩盖了驱动结果的单一任务。按任务分解结果。Stage 根据历史记录中的失败情况做决策,因此无法提前将困难任务路由到有能力的候选者。升级后的回合会重放整个失败尝试,这可能使恢复成本高于从有能力候选者开始的运行。如果少数困难任务主导了你的成本,请考虑将它们路由到专用模型组,或选择能解决更多此类任务的高效候选者。

- 运行足够多的重复 – 模型输出在每次运行中可能不同。如果每组只有少量运行,一两个已解决任务的差异可能是噪声。增加 --repeats 直到你关心的差异趋于稳定,并在采取行动前应用统计检验(如用于解决率的 Fisher 精确检验)。

- 考虑回合限制 – 较低的 --max-turns 值会惩罚那些在编辑前进行探索的模型,因为它留给修复失败编辑的回合更少。将限制值设置为与你实际运行代理的方式匹配。

- 考虑输出限制 – 如果某组的回复达到 max_tokens,所测成本仅为下限,缩短的回复也会缩短后续回合重放的历史记录。在比较聊天成本前,请检查转录文本中是否有被截断的回复。

- 将成本视为估算值 – 运行器根据令牌使用量和 PRICES 表估算成本,而不是根据你的账单。提示缓存、批量推理和定价变化都会影响你的实际成本。请通过 Amazon Bedrock 定价和 AWS 成本与使用情况报告确认。

- 测试你计划运行的设置 – 结果仅适用于你测量的模型、配置设置和任务。如果你更改候选者、Stage 设置或切换到 Random 配置,请重新测量。

使用这些数据为每个工作负载在三个选项中做出选择:路由组、单模型组,或具有不同候选者或设置的配置文件。当你更改模型、提示或代理行为时,请重新运行相同的测量。

## 清理

为避免持续产生费用,请删除堆栈。AWS CDK 需要 allowedCidr 值来合成应用,但此处的值无关紧要:

npx cdk destroy -c allowedCidr=203.0.113.0/24

code

CloudFormation 会永久删除主密钥密文(无恢复窗口),因此如果需要该密钥,请先进行备份。网关镜像会保留在 AWS CDK 引导仓库的 Amazon ECR 中。

## 结论

在本文中,我们展示了如何在 AWS 上部署 LiteLLM 并配置 NVIDIA NeMo Switchyard 路由插件,如何在 Amazon Bedrock 上跨模型配置 Stage 和 Random 路由,以及如何测量路由模型组与单模型基准的每任务解决成本。由于智能体任务的总成本取决于对话轮次、历史记录和重试次数,仅凭每 token 价格无法可靠指导成本估算。通过测量自身任务的每任务解决成本,您可以获得选择配置方案的实证依据。

要开始使用,请在开发账户中部署示例仓库,并在您自己的工作负载任务中测量 Stage 路由和单模型基准。如需了解更多内容,请参阅 Switchyard LiteLLM 插件指南和 Amazon Bedrock 用户指南。在评论区分享您的问题。

## 作者简介

'"`