Your AI bill is out of control. Cloudflare can fix it now.

你的 AI 费用已经失控了。Cloudflare 现在可以解决这个问题。

2026-06-05

• 鲁明

• 肯尼·约翰逊

6 分钟阅读

目前，世界上没有一个 CIO 不担心 AI 的支出。CFO 也越来越感到担忧。

为了避免落后，许多公司已经敦促员工尽可能积极地使用 AI。命令非常明确：“快速行动，之后我们再处理账单。”总的来说，这方法奏效了：对于那些积极采用 AI 的团队来说，AI 确实带来了真正的变革。

但成本是真实存在的：我们听到了无数关于巨额账单和令牌使用费痛苦超支的恐怖故事。

今天，我们宣布在 Cloudflare AI Gateway 中推出支出控制功能，并启动一个封闭测试版，用于基于身份的预算和路由，使用 Cloudflare Access 和你现有的身份提供商。

在与数百家公司讨论他们的 AI 战略时，我们看到了一个常见的故事：公司为每位工程师提供一个共享的 API 密钥，以访问前沿模型。使用量迅速上升。到了月底，财务部门拿出账单，却没人能解释钱都花到哪里了。是机器学习团队在训练新的流水线吗？是实习生在使用 Claude Opus 来处理电子邮件分类吗？还是某个失控的持续集成任务在周末烧掉了 5000 万 tokens？没人知道，因为 API 密钥无法告诉你谁使用了它。

在没有指导方针的情况下，员工通常会直接选择最强大的模型。他们为什么不这样做呢？如果没有预算、没有可见性、也没有路由逻辑，理性的做法是为所有事情使用最强大的模型。问题是，大多数任务并不需要前沿模型。代码审查摘要不需要与复杂的架构重构使用相同的模型。日志解析器不需要与面向客户的生成内容使用相同的模型。应该很容易选择适合任务的正确工具，而不是默认使用最强大且最昂贵的模型。而且，应该很容易看到支出的去向。

在没有支出可见性的情况下，你无法计算 AI 支出的 ROI，而在没有控制措施的情况下，你无法保护这个 ROI。企业中的每一项支出都有预算和按团队归因，AI 支出也应该如此。

AI Gateway 是什么

AI Gateway 位于你的应用程序和 AI 提供商之间。你的请求不再直接调用 OpenAI、Anthropic、Google 或其他任何提供商，而是首先通过 AI Gateway。

这立即为你提供了几个有用的工具：

• 统一的计费，可以轻松地在不同提供商和模型之间切换

• 跨所有提供商的日志记录——所有请求、令牌计数和成本都在一个地方

• 响应缓存

• 速率限制

• 内容防护措施，以及在数据到达模型之前阻止个人身份信息（PII）和机密信息的能力

然而，AI Gateway 之前并没有一种简单的方式来回答谁在花费什么，或者你如何对 AI 支出设置限制。

你可以看到账户的整体使用情况。但你无法看到工程部门的 Jane 本月在 Claude 上花费了 2000 美元，而整个数据科学团队只用了 400 美元。你无法设置一个预算，规定“工程团队每月在前沿模型上获得 5000 美元，实习生每月在 Kimi K2.6 上获得 200 美元。”

今天，这一切都改变了。

支出限制：AI 使用的预算

AI Gateway 现在支持将支出限制作为核心功能。这些是真正的成本控制措施，以美元形式设置的预算，而不是以令牌为单位，可以跟踪所有请求的累计支出，并且独立于传统的速率限制机制运行。

你可以将限制作用于任何维度的组合：模型、提供商，或由管理员定义的自定义属性，如用户、团队或应用程序。时间窗口可以是固定的（在每月的第一天、每周一或午夜重置），也可以是滚动的，并且可以设置为每日、每周或每月。

AI Gateway 根据模型的定价计算每个请求的成本，并实时跟踪累计支出与你的限制之间的关系。你可以在我们的分析仪表板上轻松跟踪模型的支出，并按模型、提供商或任何自定义属性进行筛选。

当预算限制达到时，你有多种选择。AI Gateway 默认会阻止进一步的请求。或者，你可以通过动态路由设置规则，在达到支出限制后将请求路由到一个备用模型，这样硬性支出上限就不会影响工程师的工作流程。我们正在努力添加在达到限制时发送警报的功能。

支出限制今天对所有 AI Gateway 用户（所有计划）开放测试版。你可以在仪表板的网关设置中或通过 API 进行配置。

我们自己也在使用这一功能

我们已经在 Cloudflare 内部追踪令牌成本。Cloudflare 的每一位员工每天都会使用 AI 工具，每月通过 AI Gateway 路由数百万次请求和数十亿个令牌。我们面临所有公司在这一规模下都会遇到的问题：谁在使用什么，以及如何为它制定预算？

我们通过启用 AI Gateway 为每个请求添加身份信息来解决这个问题。当员工通过 Cloudflare Access 进行身份验证时，我们从 JSON Web Token（JWT）中提取他们的身份，并将其作为元数据附加到 AI Gateway 请求上。这使得每个用户的令牌消耗、团队级别的使用情况分析以及整个组织内的成本归属都可以在同一个地方查看。

基于身份的预算和策略（封闭测试版）

除了支出限制，今天我们还宣布推出基于身份的预算和策略的封闭测试版。

AI Gateway 的支出限制允许你根据模型、提供商或自定义属性设置预算。但你的应用必须传递这些元数据，而 AI Gateway 会信任它接收到的任何信息。对于经过验证的自动归属，你需要身份。

当与 Cloudflare Access 结合使用时，AI Gateway 可以看到是谁在发出每个请求 —— 不仅仅是哪个账户，而是哪个员工、哪个身份提供商（IdP）组、哪个服务等。

以下是一个实际应用的示例。

你可以为每个用户设置预算，例如为个人贡献者设置每月 500 美元，为高级工程师设置 2000 美元。当用户达到其限制时，请求可以降级到一个更便宜的模型或被阻止。

你可以为每个团队设置模型策略。例如，你的机器学习团队可以使用 Claude Opus 和 GPT-4o。品牌设计团队可以访问生成图像和视频模型。实习生可以在 Workers AI 上使用开源模型。这些策略直接映射到你现有的 IdP 组，也就是你已经在管理的相同身份提供商组。

对于 CI/CD 管道和自主代理，访问服务令牌允许您为每个代理分配一个命名身份。您可以看到，本周您的代码审查机器人使用了 500 万个令牌，而您的文档生成器使用了 50 万个。如果某个代理失控，可以应用预算策略而不会影响其他代理。

每个 AI 网关日志条目都将包含经过身份验证的身份信息：电子邮件、IdP 组、服务令牌名称。将这些信息导出到您的分析平台，您就可以获得按用户和团队划分的成本分析，而无需构建任何自定义内容。

在幕后，您需要为 AI 网关端点创建一个 Cloudflare Access 应用程序，并根据您的 IdP 组配置策略。当开发人员或代理发出请求时，他们将通过 OAuth 进行身份验证，使用典型的 CLI 设备码流程。AI 网关将验证令牌并提取身份信息。您不需要编写自定义 Worker、手动解析 JWT，或依赖荣誉系统元数据头。

我们最近写了一篇关于如何构建我们内部 AI 工程堆栈的文章。今天，我们正在提供的是这些内容，这样您也可以使用它们，而无需自己构建。

如果您想加入封闭测试版，请在这里注册。

下一步：从成本控制到成本优化

设定预算至关重要。但一旦设定了预算，如何充分利用它呢？

现实情况是，并非每个请求都需要前沿模型：摘要任务可以使用较小、更便宜的模型，而不会显著影响质量，而大规模代码重构可能需要最前沿的模型。但如果没有控制措施，人们几乎总是会选择最先进的模型。

接下来的解决方案是：我们正在为 AI 网关构建智能、基于任务的路由。对于每个请求，我们可以分析并自动将其路由到能够以最低成本提供最佳结果的模型。该功能目前处于积极开发中，因此请关注我们的开发者文档和更新日志。

入门

使用 AI 网关是免费的。所有用户现在都可以使用支出限制功能。

如果您尚未创建网关，请创建一个并将其指向您的应用程序。从那里，您可以在仪表板或通过 API 设置支出限制。首先以高限制的监控模式开始，以了解当前的使用模式，然后再开始强制执行。

如果您需要按用户分配和基于团队的策略，请注册身份驱动的预算封闭测试版，我们将为您设置 Access 集成。

我们想了解您今天是如何管理 AI 成本的。请在 Cloudflare 社区加入讨论，或联系以讨论您的更广泛的 AI 安全策略。

[if astro]>server-island-start<![endif]

AI

AI 网关

Cloudflare Access

开发人员

开发者平台