AWS Machine Learning Blog

Tokenomics at scale: Track and cap Amazon Bedrock spend per IAM principal with CUR 2.0 and AWS Budgets

8.5内容质量
Tokenomics at scale: Track and cap Amazon Bedrock spend per IAM principal with CUR 2.0 and AWS Budgets

TL;DR · AI 摘要

AWS官方博客展示如何通过CUR 2.0和Budgets实现按IAM主体追踪并限制Amazon Bedrock支出,无需自定义代码。

核心要点

  • 使用AWS CUR 2.0和Budgets可自动实现Bedrock支出追踪与限制,无需编写应用代码
  • 通过IAM标签实现细粒度成本分配,支持角色级和用户级追踪
  • AWS Budgets可配置Deny策略,在预算超限时自动阻止Bedrock访问

结构提纲

按章节快速跳转。

  1. 指出生成式AI支出归因困难,提出使用AWS原生功能实现成本控制的新方案

  2. 分属性、报告、执行三阶段实现成本追踪与限制

  3. 利用Bedrock自动记录IAM主体身份,通过会话标签实现用户级追踪

  4. 通过CUR 2.0导出数据或Cost Explorer实现细粒度成本分析

  5. 配置Budgets触发Deny策略,在预算超限时自动限制Bedrock访问

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • AWS Bedrock成本控制方案
    • 解决方案架构
      • 属性阶段
        • IAM主体自动记录
      • 报告阶段
        • CUR 2.0数据导出
        • Cost Explorer分析
      • 执行阶段
        • Budgets阈值触发
        • Deny策略执行

金句 / Highlights

值得收藏与分享的关键句。

#AWS#成本管理#IAM#Bedrock#CUR 2.0
打开原文

扩展规模的 Tokenomics:使用 CUR 2.0 和 AWS Budgets 按 IAM 主体跟踪和限制 Amazon Bedrock 开支 | 人工智能

扩展规模的 Tokenomics:使用 CUR 2.0 和 AWS Budgets 按 IAM 主体跟踪和限制 Amazon Bedrock 开支

生成式 AI 的支出难以归因。在组织扩展 AI 访问权限之前,CFO 和 CTO 通常希望得到三个答案:我们每个人或每个团队的支出是多少,能否对其设置上限,以及实现这些目标需要多少工作量。

在我们之前的博文《扩展规模的 Tokenomics:Jamf 如何为 Amazon Bedrock 构建实时支出执行机制》中,我们解释了基于 AWS IAM Identity Center、Amazon Athena 对 Amazon Bedrock 模型调用日志的分析以及 AWS Lambda 的自定义执行循环。这种方法可以实现近实时控制,但需要您自行编写和维护代码。

本文将展示如何仅使用 AWS 原生功能(无需编写任何应用程序代码)来实现按身份识别的 Amazon Bedrock 成本可见性并执行可执行的支出限制。该方法依赖于三个要素:IAM 主体归因(Amazon Bedrock 自动记录)、AWS 成本和使用报告(CUR)2.0 或 AWS 成本分析器用于报告,以及结合预算操作的 AWS Budgets 用于执行。最终,您将获得按身份识别的成本报告,并在阈值被突破时自动限制 Amazon Bedrock 访问权限的防护机制。

解决方案概述

该解决方案包含三个部分:归因、报告和执行。

归因。Amazon Bedrock 会自动捕获每个推理请求的 AWS 身份和访问管理(IAM)主体身份(即 IAM 用户或角色),无需对 Amazon Bedrock 模型推理调用进行任何更改。如果多人共享一个角色,您可以在角色假设时通过会话标签添加每用户详细信息。如果每个人或每个应用程序都有自己的角色,角色上的主体标签就足够了。

报告。将这些标签激活为成本分配标签,然后通过 Cost Explorer 获取控制台视图,或通过 CUR 2.0 数据导出进行详细分项分析和 SQL 查询。

执行。创建一个针对 Amazon Bedrock 并过滤到特定身份或标签值的 AWS Budget,然后附加一个预算操作,当阈值被突破时应用 Deny IAM 策略。

以下部分将更详细地展示每个部分,并附上实施步骤。

先决条件

要部署此解决方案,您需要:

  • 启用 Amazon Bedrock 模型访问权限的 AWS 账户。
  • 对 IAM 主体进行标记、激活成本分配标签、创建数据导出以及创建预算和预算操作的权限。
  • 通过 IAM 角色或 IAM 用户访问 Amazon Bedrock。
  • 配置了适当凭证的 AWS 命令行界面(AWS CLI)。
  • 用于接收数据的 CUR 2.0 数据导出和 Amazon 简单存储服务(Amazon S3)存储桶。(可选,用于详细分项分析)。
  • Amazon Athena。(可选,用于查询导出数据)。

AWS 计费控制台访问权限与大多数 IAM 权限分开管理。在开始之前,请确认您已拥有该权限。

演示流程

在配置任何内容之前,请先检查您已拥有的资源。Amazon Bedrock 会自动为每个推理请求记录调用者身份。打开 Cost Explorer,将服务筛选为 Amazon Bedrock,并按可用的身份或标签维度进行分组。对于每个应用程序或人员已使用独立 IAM 角色的账户,这可能就是您所需的全部可见性。

要配置额外的可见性:

  • 第1步为您提供基于身份的可见性。
  • 第2至第4步添加标签维度和详细报告。
  • 第5步添加执行策略。

步骤1:确定身份如何映射到您的用户

您的标签方式取决于IAM主体的组织方式。

每人或每应用一个角色。将主体标签直接附加到每个IAM角色或用户。这些标签是静态的,适用于该主体发起的每个请求。可通过IAM控制台或AWS CLI操作:

code
aws iam tag-role \
  --role-name BedrockDeveloperRole-alice \
  --tags Key=user,[email protected] Key=team,Value=platform Key=CostCenter,Value=CC-1001

共享角色或多用户使用的网关角色。主体标签无法区分共享角色上的用户,因为每个会话携带的标签相同。此时应使用会话标签,通过假设角色时传递。会话标签是动态的,可按会话变化。如果会话标签与主体标签使用相同键,会话标签在该会话中具有优先级。

角色的信任策略必须允许sts:TagSession。会话标签可通过以下三种方式传递:

  • 使用sts:AssumeRole命令的--tags参数(适用于按用户或租户假设角色的网关)。
  • 使用AssumeRoleWithWebIdentity,在OpenID Connect (OIDC) ID令牌的https://aws.amazon.com/tags声明中传递标签(该声明名称不是可浏览的URL)。
  • 使用AssumeRoleWithSAML,通过将身份提供商的SAML断言中的PrincipalTag:*属性进行映射。

如果组织已捕获类似saml:sub的声明用于其他用途,这本身不会使其在此处可用。身份提供商必须单独将该属性映射到PrincipalTag:* SAML属性声明,且角色的信任策略必须允许sts:TagSession,之后该属性才能作为会话标签传递。这两种集成使用相同的SAML断言,但配置相互独立。常见的标签键包括user、team、Department、CostCenter和Environment。每个IAM用户或角色最多可附加50个主体标签或会话标签。

图1:主体标签与会话标签的归属关系对比

步骤2:激活成本分配标签

标签在激活前不会出现在计费数据中。

  • 打开AWS计费与成本管理控制台。
  • 选择成本分配标签。
  • 按类型筛选IAM主体。
  • 选择您的标签键并点击激活。

在AWS组织中,需在管理账户(付款方账户)中激活IAM主体成本分配标签。成员账户无法独立激活。

需注意的两点:

  • 仅当主体至少发起过一次Amazon Bedrock调用后,标签键才会出现在此列表中。如果列表为空,请先进行测试调用。
  • 新添加的标签键可能需要最多24小时才会显示为可激活状态,激活后可能需要再24小时才会开始填充计费数据。

默认情况下激活不会追溯生效,因此请在需要数据前提前激活标签。

  • 在“报告数据集成”下,选择 Amazon Athena。这会将文件格式设置为 Parquet,并且重要的是,会将设置脚本与导出数据一起上传到您的 S3 存储桶。
  • 选择目标 Amazon S3 存储桶。
  • 运行交付的设置脚本(或脚本中定义的 Glue 爬虫/DDL)。这会实际创建您将在第 4 步查询的 Glue 数据目录表。前面的控制台流程不会为您自动创建该表。

如果在启用身份归因之前已经创建了 CUR 2.0 导出,它不会 retroactively 包含身份数据。创建一个新的导出并选择“调用者身份”选项。在导出中,principal 和 session 标签会以 iamPrincipal/ 为前缀的列形式出现,而资源标签则以 resourceTags/ 为前缀。例如,一个名为 team 的标签键会显示为 iamPrincipal/team。AWS 在 aws-samples/sample-cur-iam-principal-bedrock-tracking 中发布了针对此确切模式的现成查询集。

步骤 4:读取数据

下图比较了读取数据的两种方式:仅通过 Cost Explorer 的控制台路径,以及通过 CUR 2.0 导出和 Amazon Athena 的 SQL 路径。

图 2:使用 Cost Explorer 进行报告与使用 CUR 2.0 和 Amazon Athena 的对比

控制台路径,无需自定义代码。通过 Cost Explorer(过滤为 Amazon Bedrock 并按您的标签键分组),可以以图表和表格形式显示每个团队或每个用户的支出。这可以满足大多数常规报告需求,且无需编写查询。

SQL 路径,低代码。将 Amazon Athena 指向 CUR 2.0 导出,按 iamPrincipal/team 和使用类型分组支出:

code
SELECT
    tags['iamPrincipal/team'] AS team,
    line_item_usage_type,
    SUM(line_item_unblended_cost) AS cost
FROM cur2_view
WHERE product_servicecode IN ('AmazonBedrock', 'AmazonBedrockService')
AND billing_period = '2026-09'
GROUP BY 1, 2
ORDER BY 3 DESC

需要注意的事项:

  • 服务代码:Amazon Bedrock 的支出可能记录在多个 product_servicecode 值下,例如 AmazonBedrock 和 AmazonBedrockService。
  • 表名:表名(cur2_view)是第 3 步设置脚本在创建 Glue 表时为其命名的名称。如果名称不同,请检查脚本或您的 Glue 目录。列名与 CUR 2.0 Parquet 架构匹配,与表名无关。
  • 账单周期列:确认您的导出如何暴露周期。一些导出使用 billing_period(YYYY-MM)。其他导出可能按 start-date 或 year/month 列进行分区。

两个注意事项值得在您编写的任何查询中考虑:

  • 统计所有令牌类型:Amazon Bedrock 对四种令牌类型收费,每种费率不同:输入、输出、缓存读取和缓存写入。每种类型都是单独的条目,具有自己的使用类型和单价,因此仅汇总输入和输出会低估支出。对于大量使用提示缓存的工作负载,差距最大。有关最新信息,请参阅 AWS 文档《Understanding Amazon Bedrock pricing in CUR》。
  • 将费率与条目匹配,而非模型:CUR 中的 Amazon Bedrock 定价由三方面决定:令牌类型、服务层级以及请求是否通过跨区域推理路由。区域内和跨区域请求的定价不同,服务层级也反映在使用类型中。使用类型带有表示跨区域路由和服务层级的后缀,因此如果您的工作负载混合了这些情况,请将费率与每个条目匹配,而不是为每个模型应用一个费率。有关示例,请参阅 CUR 使用类型示例。

第 5 步:使用 AWS Budgets 和预算操作添加执行控制

AWS Budgets 负责执行此操作,因此此工作流程无需自定义代码。预算操作会附加到特定的 IAM 用户、组或角色。如果某人已有自己的角色,这可以限制该人的访问权限。如果您的 Amazon Bedrock 流量通过一个多人共享的角色运行,附加到该角色的拒绝操作会阻止所有使用该角色的用户,而不仅仅是超出阈值的个人。下图解释了执行工作流程。

图 3:使用 AWS Budgets 和预算操作的执行控制

当超出阈值时,AWS Budgets 可以执行操作。可用操作包括应用自定义 IAM 策略、应用服务控制策略(SCP),以及针对 Amazon Elastic Compute Cloud(Amazon EC2)或 Amazon Relational Database Service(Amazon RDS)实例。对于此用例,相关的操作是 IAM 策略操作。

首先,创建拒绝策略,该策略将附加到操作。此示例拒绝高成本模型,同时保留低成本模型可用,使用户可以继续工作:

code
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Deny",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": [
        "arn:aws:bedrock:*::foundation-model/[HIGHER-COST-MODEL-ID]"
      ]
    }
  ]
}

将 [HIGHER-COST-MODEL-ID] 替换为环境中要拒绝的模型 ID。

然后设置权限和预算本身。

此处存在两个不同的角色,而 AWS 管理策略仅涵盖其中一个:

您自己的用户或角色(配置预算的用户或角色)需要 AWS 管理策略 AWSBudgetsActionsWithAWSResourceControlAccess。该策略授予预算权限,以及条件性 iam:PassRole,用于将预算操作角色传递给 AWS Budgets。

用于执行操作的 IAM 角色在此用例中未被单个命名的托管策略覆盖。创建该角色时,需要一个信任策略,允许 principals budgets.amazonaws.com 假设该角色(使用 aws:SourceArn 和 aws:SourceAccount 条件进行限制),以及一个权限策略,授予 iam:AttachRolePolicy 和 iam:DetachRolePolicy(如果您还使用 SCP,则还需授予 organizations:AttachPolicy 和 organizations:DetachPolicy)。有关可授予权限的详细信息,请参阅《为 AWS Budgets 设置角色以运行预算操作》。

  • 创建前面描述的预算操作角色。
  • 创建一个针对 Amazon Bedrock 的成本预算,筛选到您要限制的身份或标签值。
  • 在“配置警报”中添加警报阈值。选择“实际”用于已发生的支出,或选择“预测”以在支出发生前采取行动。
  • 在“附加操作”下,选择“添加操作”,选择预算操作角色,然后选择 IAM 策略操作。选择拒绝策略,并选择要附加该策略的 IAM 用户、组或角色。
  • 对于自动执行,选择“是”以自动运行该操作。选择“否”则需要从“警报详情”页面手动批准每个操作。
  • 配置至少一个通知,以便受影响的用户了解访问权限更改的原因。

您可以将多个操作附加到单个阈值,并将多个阈值附加到一个预算。这就是您构建分层策略的方式:例如,在 80% 时拒绝高级模型,在 100% 时拒绝中等模型,而从不拒绝低成本模型。

只有管理账户可以应用 SCP,且从管理账户可以将 SCP 应用到其他账户。

注意事项

AWS Budgets 并非接近实时:预算数据每天最多刷新三次,因此在执行操作之前,支出可能会超过阈值。

成本分配标签不具备追溯性:新应用的标签键可能需要最多24小时才会显示,随后在激活后还需要最多24小时才会开始填充计费数据。

CUR 不包含按请求划分的明细项:经典 CUR 和 CUR 2.0 都按小时或天为单位,根据使用类型、操作和定价/资源属性汇总 Amazon Bedrock 成本。

IAM 主体字段需要 CUR 2.0:传统 CUR 格式不包含这些字段。两种格式均可提供按令牌划分的成本明细。

会话标签在 AssumeRole 时绑定,而非每个请求单独绑定。使用该会话凭证进行的所有调用中,其值保持不变,并且仅以汇总后的计费数据形式体现。会话标签不会写入模型调用日志。日志记录调用者的身份ARN。要在请求级别区分共享会话中的用户,请使用每个用户的 RoleSessionName,或在每次调用时在请求元数据中设置用户信息。

预算操作绑定到 IAM 用户、组和角色。如果用户是通过联合身份验证且没有静态 IAM 身份,则操作需要一个目标角色。这就是为什么该模式在每个人或应用程序拥有自己角色时效果最佳。如果用户共享角色或通过联合身份验证但没有自己的角色,请参阅我们之前的帖子,了解按用户实施的方法。

共享网关角色默认会合并归属信息。使用大型语言模型(LLM)网关时,记录的身份是网关的执行角色。

新模型需要特别关注。使用类型是模型特定的。启用新模型后,请确认它是否按预期出现在您的查询和预算过滤器中,而不是假设它已被覆盖。

决策框架

需求

推荐路径

快速报告

按身份分组的成本分析器

按团队报告

启用标签的成本分析器(步骤1、2和4)

详细明细分析

CUR 2.0 导出(步骤1至4)

强制执行

带有预算操作的 AWS Budgets(步骤1和5)

清理

为避免持续收费,请删除所有创建的资源。

结论

在本文中,您学习了如何仅使用 AWS 原生功能(无需编写任何应用程序代码)来实现按身份划分的 Amazon Bedrock 成本可见性并实施可执行的支出限制。随着生成式 AI 的采用规模扩大,能够自信回答代币经济学问题的组织将脱颖而出:我们每个人的支出或每个团队的支出是多少?能否对其进行限制?达到这一目标需要多少工作?

现在轮到您开始探索了。我们随时为您提供帮助,如果需要进一步帮助,请联系 AWS 支持团队和您的 AWS 账户团队。

作者简介

'"` /think