How Mercor ships internal apps and billions of production tokens on one platform
TL;DR · AI 摘要
How Mercor ships internal apps and billions of production tokens on one platform Customers Vercel Copy link to heading M...
核心要点
- 主题聚焦:How Mercor ships internal apps and billions of p
- 来源:Vercel News,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
Mercor 如何在一个平台上部署内部应用并处理数十亿个生产令牌 | 客户案例 | Vercel
复制链接到标题 Mercor on Vercel
- 批量作业时间从 12 小时缩短至 2 小时
- 10 天内通过 AI Gateway 路由了 1800 万次请求和 6300 亿个令牌
- 通过 Vercel Passport 在数秒内完成专家访问权限配置
- 数百名内部开发者创建了超过 2000 个项目
Mercor 将数万名领域专家与前沿 AI 实验室连接起来,帮助这些实验室生成训练和评估领先模型所需的人类数据。同时,Mercor 还运行大量自动化评分作业,用于评估实验室和企业的模型。
需求以突发方式到来,可能使模型流量在数天内达到峰值容量,而单个评估或标注作业却需要在 24 小时内完成。在如此紧迫的时间限制下,等待提供商的速率限制可能会危及客户的截止期限。
Mercor 的业务团队还需要针对每次合作定制的应用程序,让专家能够实时查看任务进度,而无需等待核心平台的更改。
对于 Mercor 安全主管 Aaron Brown 来说,让更多人参与构建意味着更便捷地提供所需访问权限,并追踪使用情况。Mercor 使用 Vercel AI Gateway 管理模型访问,使用 Vercel Passport 处理应用程序的安全访问。
复制链接到标题 当模型容量成为客户截止期限的瓶颈
当需求激增时,Mercor 的直接集成和第三方网关组合无法为开放模型工作负载提供足够的每分钟令牌容量。随着请求触及提供商限制并进入重试队列,时间敏感的批量作业耗时超过 12 小时,消耗了客户 24 小时截止期限的一半以上。
当请求触及速率限制时,AI Gateway 提供了更多的推理容量和提供商之间的故障转移路由,使批量作业得以继续执行,而非在重试队列中等待。Mercor 报告称,这些作业现在可在 2 至 3 小时内完成,为完成客户的其他工作留出更多时间。在 Gateway 上线的前 10 天里,团队成功路由了 1800 万次请求和 6300 亿个令牌,且未触及速率限制。
Mercor 继续使用多个网关和供应商,但特别重视 Vercel 提供的模型访问、控制功能以及在需要更多容量时的现场支持。工程师现在可以通过一个 API 访问领先的开源模型提供商和不断增长的开源模型目录,无需每次尝试新模型时都重新构建供应商集成。
复制链接到标题 为工程师在限制内提供实验空间
随着模型使用量的增长,Mercor 需要了解令牌支出的去向,但之前的设置无法按团队和项目提供使用情况的可见性。脚本中的单个循环错误就可能耗尽可用预算。
现在,数百名 Mercor 工程师通过 AI Gateway 使用开放模型,每个用户都配有带过期日期、令牌限制和支出限制的密钥。安全团队可以为实验分配预算和截止日期,然后通过使用记录查看哪些用户、项目和工作负载在推动消耗。在这些控制条件下,工程师可以通过同一个网关尝试不同模型,无需每次管理另一组供应商凭证。
复制链接到标题 在业务团队构建过程中管理访问权限
Mercor 的各个业务团队中已有数百人使用 Vercel 构建应用程序,公司项目数量从不到十个项目增长到约 2000 个。其中许多项目是为特定客户合作而创建的临时环境。
一个生产环境用例为专家提供了详细的项目任务和进度视图。与其要求工程团队为每个合作项目在核心平台添加界面,业务团队更倾向于自行构建界面并分享给执行工作的专家。
为了共享这些应用程序,团队需要控制登录权限,而无需为每个项目单独设置身份验证。Passport 提供了通用的身份验证层,通过现有身份提供商实现对 Vercel 部署的登录操作。
Mercor 的身份团队开发了一款名为 Audiences 的产品,将 Vercel Passport 作为核心原语进行集成,以自动化访问配置。当团队选择需要访问权限的专家后,Audiences 会自动创建 IdP 组、Vercel 连接和 Passport 配置。通过该流程,Mercor 能在数秒内为从数十名到数万名专家的受众配置访问权限。离职流程也以相同方式逆向执行。由于访问权限来源于 IdP 组,合作结束后移除该组即可同步撤销项目访问权限,避免遗留过期权限。
复制链接到标题 限制每个代理的权限范围
除了这些应用程序,Mercor 还使用代理来回答市场中专家的问题、自动化 HR 流程,并帮助员工导航内部系统。Mercor 的策略是为每个代理分配与其职责匹配的狭窄权限,而非提供调用者所能访问的所有权限。
对于通过 AI Gateway 使用开放模型的代理,Mercor 还可以设置模型访问范围、设定过期时间并限制支出额度。这既规范了模型使用,又通过独立机制确定每个代理可访问的系统和操作权限。
复制链接到标题 下一步计划
Mercor 预计未来将有更多开放模型用于内部代理和系统,同时更多非工程团队将为专家构建工具。随着这些工作的扩展,公司希望团队能减少在模型集成和应用身份验证上的时间投入,从而更高效应对客户紧急任务。
目标是让安全路径成为最快路径,通过共享模型访问权限和可重复的身份验证流程,帮助专家快速获取所需工具,确保实验室工作按时推进。Mercor 希望在支持业务增长的同时,避免安全工作量同步增加。
关于 Mercor:Mercor 是一家人工智能数据公司,通过组织人类智能为 AI 训练和评估提供支持。其由超过 500 万名专家(包括医生、律师、工程师等)组成的网络,为基准测试、企业评估、强化学习环境、训练后部署和代理部署提供支持。
贡献者
Kevin Corbett