AWS Machine Learning Blog

Four Amazon Bedrock inference choices that affect cost

8.5内容质量
Four Amazon Bedrock inference choices that affect cost

TL;DR · AI 摘要

Amazon Bedrock推理成本受缓存时长、服务层级、推理强度和maxTokens影响,需根据模型特性优化配置。

核心要点

  • Anthropic模型5分钟缓存写入成本是输入费率的1.25倍,1小时写入是2倍
  • 显式缓存需手动设置ttl参数,隐式缓存由服务自动管理但无保证
  • maxTokens参数直接影响输出token数量,占成本计算核心因素

结构提纲

按章节快速跳转。

  1. Amazon Bedrock推理成本受四个关键配置参数影响,需结合模型特性优化

  2. 输入输出token按模型层级计费,缓存读写使用独立计数器

  3. 不同TTL设置对应不同费率,需计算请求频率与成本平衡点

  4. 不同服务层级对应不同token计费率,影响总体成本

  5. 推理努力程度直接影响处理token数量和成本

  6. 通过响应元数据、日志和账单数据验证配置效果

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Bedrock成本优化
    • 核心影响因素
      • 缓存配置
      • 服务层级
      • 推理强度
      • maxTokens
    • 定价模型
      • 输入输出费率
      • 缓存读写费率
    • 验证方法
      • 响应元数据
      • 日志分析
      • 账单数据

金句 / Highlights

值得收藏与分享的关键句。

#AWS#机器学习#成本优化#Amazon Bedrock
打开原文

四个影响 Amazon Bedrock 推理成本的选项 | 人工智能

四个影响 Amazon Bedrock 推理成本的选项

在优化提示和应用逻辑后,您的 Amazon Bedrock 推理账单仍可能持续增长。请求级别的选项仍会改变服务处理的令牌数量以及适用的计费速率。缓存持续时间、服务层级、推理努力程度和 maxTokens 可在不更改模型或提示的情况下影响成本。

每个选项都取决于模型和工作负载。本文将展示我们如何测试每个选项,并说明如何通过响应元数据、日志和计费数据验证其影响。

要亲自尝试这些设置,请从 Amazon Bedrock Samples 笔记本《混合 TTL 缓存》和《使用提示缓存的租户隔离》开始。关于 maxTokens 和推理努力程度,请参阅 sample-code-for-genai-cost-management-workshop GitHub 仓库中的 01-low-effort 文件夹。每个示例都设置了自身的模型 ID,因此请根据您调用的模型进行修改,并调整推理参数。有关 AWS 区域的模型可用性,请参阅《模型概览》。如需更广泛的决策(如模型选择、批量推理、路由和蒸馏),请参阅《Amazon Bedrock 的有效成本优化策略》。

推理成本的来源

每个 Amazon Bedrock 响应都包含使用情况元数据。输入和输出令牌按照服务请求的模型和层级的费率计费。缓存读取和写入使用独立的令牌计数器,推理令牌会计入输出令牌。

提示缓存持续时间

当缓存过期且在下一次请求之前,重复的系统指令、工具定义或参考上下文可能需要重新处理。《通过提示缓存加速模型推理指南》列出了支持的 Anthropic 模型的 5 分钟和 1 小时生存时间(TTL)值。该指南还列出了支持的 GPT-5.6 模型的最小 30 分钟 TTL。支持和 API 字段取决于模型,因此在选择持续时间之前,请检查当前的支持矩阵。

对于支持的模型,Amazon Bedrock 还提供隐式提示缓存,该功能尝试在请求中不使用缓存控制的情况下重用符合条件的提示前缀。由于隐式缓存是尽力而为且不保证缓存命中,因此本节中的持续时间选项适用于显式缓存。

以下 Converse API 签名请求在支持的模型上设置 1 小时缓存条目:

code
{ "cachePoint": { "type": "default", "ttl": "1h" } }

对于支持的 Anthropic 模型,InvokeModel 会在 cache_control 中设置相同的 ttl 值。

更长的持续时间并不自动意味着更便宜。Amazon Bedrock 定价页面分别列出了 5 分钟写入、1 小时写入和缓存读取的费率。在 Amazon Bedrock 上,Anthropic Claude Sonnet 5 和 Anthropic Claude Opus 5 的 5 分钟写入成本是输入费率的 1.25 倍,1 小时写入成本是 2 倍,缓存读取成本是 0.1 倍。

这些费率假设每个请求都重用了完全相同的前缀,且每次缓存读取都会刷新 TTL。5 分钟缓存会在 5 分钟内首次重用时实现成本回收。当相同前缀的请求间隔超过 5 分钟时,每次请求都会以 1.25 倍成本重写。从该小时内第二次请求开始,1 小时缓存会更经济。

不同模型的缓存费率和检查点最低要求各不相同。请查看 Amazon Bedrock 定价页面和提示缓存指南中您调用的模型信息。为您的模型重新运行比较,然后在部署后通过缓存读取和写入令牌确认结果。

将静态内容置于动态内容之前,满足模型检查点最低要求,并使用按需推理,因为提示缓存不适用于批量推理。

修改缓存前缀(包括系统指令或工具定义)会导致缓存未命中并产生新写入。检查点的评估顺序为工具、系统,然后是消息,因此早期部分的更改也会使后续部分失效。对经常更改的提示进行版本控制,使每个版本都有自己的缓存条目。我们在 Claude Sonnet 5 上进行了六次调用,使用 1 小时检查点,更改了一次系统提示和一次工具定义。每次更改都产生了零次缓存读取和一次新写入。

AWS 将缓存条目描述为限定于您的账户和区域,而不是租户。在多租户应用中,将租户特定的 SHA-256 哈希值前置到可缓存前缀。《使用 Amazon Bedrock 提示缓存优化 Anthropic 模型的成本和延迟》一文描述了这种模式。在构建提示之前强制执行租户授权。该哈希值在同一个账户内对条目进行分区。如果受监管的工作负载需要硬数据边界,请将每个租户保留在单独的 AWS 账户中。

将默认的 5 分钟设置用于频繁复用。当相同前缀每小时至少出现两次且间隔超过 5 分钟时,将其更改为更长的受支持持续时间。要优于完全不使用缓存,1 小时缓存需要每小时三次请求。

适用于延迟容忍型工作负载的服务层级

后台任务、评估工具、夜间摘要和回填并不总是需要交互请求使用的延迟配置文件。对于支持 Flex 的模型,请使用以下请求签名选择 Flex:

code
{ "serviceTier": { "type": "flex" } }

使用 default 而不是 standard 来请求 Standard 层级。您也可以省略 serviceTier:

code
{ "serviceTier": { "type": "default" } }

层级支持因模型而异,因此请通过精确的模型版本记录支持情况。Amazon Nova 2 Lite 和 OpenAI gpt-oss-120b 的模型卡片将 Flex 列为受支持。Amazon Bedrock 上 Anthropic Claude Sonnet 5 和 Anthropic Claude Opus 5 的模型卡片将其列为不支持。对不支持的模型发出 Flex 请求会失败并返回 ValidationException,而不是静默地在 Standard 上运行。我们对 Anthropic Claude Sonnet 5 的请求返回了该错误。

如果您的策略允许 Standard 作为后备选项,请捕获不支持层级的错误,并使用 default 重试一次。不要对每个 ValidationException 都重试,因为格式错误的请求也会引发此异常。限制应用级别的重试次数。AWS SDK 的有界重试策略可处理限流和瞬时错误。

为 Flex 请求设置自己的截止时间。受支持的响应会报告已解析的层级,您也可以通过 Amazon CloudWatch ResolvedServiceTier 验证该层级。有关精确模型的详细信息,请参阅《用于优化性能和成本的服务层级》和 Amazon Bedrock 定价页面。

我们在 Amazon Nova 2 Lite 上对 Flex 进行了测试,发送了 200 次默认请求和 200 次 Flex 请求,以交错对的形式发送。两个层级处理的输入和输出标记数量相同。所有 400 次请求都解析到请求的层级,中位数延迟差异太小,无法与噪声区分开。在撰写本文时,us-west-2 区域中 Nova 2 Lite 的 Flex 率是 Standard 率的一半,我们的账单也反映了这一点。请查看 Amazon Bedrock 定价页面获取当前费率。将延迟敏感流量保留在 default 上。

自适应思考努力

推理令牌按输出令牌计费。Claude Sonnet 5 和 Claude Opus 5 默认使用高努力程度的自适应推理,即使请求中省略了 thinking 字段。从 Claude Sonnet 4.6 迁移的应用程序在不进行修改的情况下会开始计费推理令牌,且 maxTokens 现在限制了推理内容与响应文本的总和。Claude Haiku 5.5 默认使用中等努力程度。这三个模型均支持低、中、高、xhigh 和 max 五种努力程度。通过以下请求签名可降低任务努力程度:

code
{
  "thinking": { "type": "adaptive" },
  "output_config": { "effort": "low" }
}

请将 effort 参数保留在 output_config 中,而非 thinking 字段内。在切换模型时请始终检查自适应推理设置。

我们在 Claude Opus 5 上测试了一个工具调用代理。其三个任务遵循《在 Amazon Bedrock 上使用 Grok 4.7 构建长周期代理》中的设计,每个任务都有一个正确答案。我们在每个努力程度层级上对每个任务运行了八次。表格显示中位输出令牌数:

| 努力程度 | 正确运行次数 | 中位输出令牌数 | 与低(95%区间)相比的变化 | |---------|-------------|----------------|--------------------------| | 低 | 24/24 | 936 | 基线 | | 中 | 1,484 | +59%(50%至78%) | | 高(默认) | 2,521 | +169%(112%至190%) | | xhigh | 2,964 | +217%(170%至260%) | | max | 3,762 | +302%(180%至402%) |

在较低努力程度下的准确性取决于模型和任务类型。请在与您任务相似的场景中进行测量。

在 Amazon Bedrock 样本中,针对代码生成工作负载调用 Bedrock 模型时,低努力程度下中位输出令牌数为 676,高努力程度下为 743,差异在运行间变化范围内。我们评估的程序在每个努力层级上均通过了测试。

使用每请求输出令牌计数、CloudWatch AWS/Bedrock OutputTokenCount、调用日志和任务通过率来评估选择。对于常规且边界明确的任务,建议从低于高努力层级开始。在质量测试显示任务需要时保持高努力层级。任何导致任务失败的令牌减少都不是节省。

输出令牌限制

maxTokens 是应用程序的输出上限。它限制了在请求停止前,不良提示、回归或循环可能生成的输出量。配额规则在《Amazon Bedrock 中令牌计数方式》中有详细说明。Amazon Bedrock 在请求开始时会从您的输入令牌和 maxTokens 中扣除配额,因此过大的值会降低并发性。

输出上限不是安全控制措施。在生产生成式 AI 工作负载中,请使用 Amazon Bedrock Guardrails 作为标准负责任的 AI 控制。Guardrails 可过滤内容、检测提示攻击,并在支持的输入和响应中检查事实依据。详见《使用 Amazon Bedrock Guardrails 检测和过滤有害内容》。

在观察到代表性输出令牌分布后,按任务类型设置 maxTokens:

code
{ "inferenceConfig": { "maxTokens": 155 } }

请参阅《使用 Converse API 进行推理》了解请求参数。

在我们的 Claude Sonnet 5 测试中,五个正常输出的峰值为 103 个令牌,因此我们设置了 155 个令牌的示例限制值(包含缓冲空间)。随后我们使用禁用自适应推理的相同刻意冗长提示,分别在 2,048 令牌上限和 155 令牌限制下进行了测试。第一个请求生成了 2,048 个输出令牌,第二个生成了 155 个,因此限制值避免了 1,893 个输出令牌。两者均在 max_tokens 处停止,因此响应均被截断。限制值控制了支出,但不会使不合适的提示变得有用。在多轮对话或代理链中,截断的回合可能破坏后续步骤。

在生产环境校准中,请比较每种任务类型的95百分位数和99百分位数(P95和P99),并在所选百分位数基础上增加余量。启用自适应思考时,maxTokens还会限制思考令牌,因此需要在开启思考功能的情况下进行校准。P95会更积极地限制暴露范围,但会接受更高的截断风险。P99则在更高的上限下保留更多有效的长尾响应。在提高任务限制前,请监控max_tokens停止情况并调查请求内容。

综合应用

对每种设置使用相同的测试循环:确认模型支持、更改一个请求选项、测量令牌数或成本、跟踪质量和完成度。如果跨模型路由,请为每个模型版本、区域和API维护能力记录:支持的缓存时长、服务层级、推理级别和输出上限。在发送请求前,根据该记录验证每个请求,然后检查响应中的已解决层级和缓存计数器。

设置

默认或宽松状态

结果

可接受的风险

缓存时长

模型特定TTL

根据已发布的Sonnet 5和Opus 5速率,当每小时请求间隔超过5分钟时,从第二次请求开始,1小时缓存更具优势

1小时写入成本是输入的两倍,因此低复用率会带来经济损失。请对租户前缀进行分区

服务层级

code
default

撰写时,Nova 2 Lite Flex的发布价格是标准价格的一半,我们的账单与之匹配

处理时间更长。请自行设置截止时间并配置回退方案

推理努力程度

code
high

在经过测试的自适应模型上

低至高:代理测试中中位输出令牌数增加169%,代码生成方面没有可靠差异

质量可能在任务能力边界附近下降。请通过令牌数跟踪通过率

code
maxTokens

宽松的2,048令牌上限

在一次测试中,一个155令牌的限制避免了1,893个输出令牌

截断可能在多轮或代理链中级联。请在提高限制前检查

code
stopReason

需关注的信号

症状

验证方式

首次响应

重复上下文未产生预期的延迟或成本优势

应用延迟和成本遥测数据

在更改TTL前检查前缀稳定性、复用间隔和模型支持

所请求的层级不被支持或服务层级与预期不符

响应

code
serviceTier

和CloudWatch

code
ResolvedServiceTier

使用支持的层级或将延迟敏感流量返回至

输出令牌数增加但质量保持稳定

每请求响应遥测数据、CloudWatch

code
OutputTokenCount

、调用日志和任务通过率

对该任务类别降低努力程度并重新运行其质量测试

是

code
max_tokens

响应停止原因和任务范围的输出令牌分布

在提高限制前检查提示和任务限制

从任务标记的应用遥测数据或调用日志中推导每种任务类型的P95和P99。

结论

所有四个选项都包含在推理请求中。更改模型时请重新检查支持情况,然后每次只更改一个设置,并在您的应用中测量结果。

使用这些资源评估您的工作负载选项:

  • Amazon Bedrock控制台:console.aws.amazon.com/bedrock 。
  • 提示缓存:用于加速模型推理的提示缓存 。
  • 服务层级:用于优化性能和成本的服务层级 。
  • 自适应思考:自适应思考 。
  • 负责任的AI控制:通过Amazon Bedrock Guardrails检测和过滤有害内容。
  • 相关阅读:Effective cost optimization strategies for Amazon Bedrock
  • 相关示例和文章:Invoke Bedrock model for code generation 和 Build long-horizon agents with Grok 4.7 on Amazon Bedrock

关于作者

'"` /think