EnMaaS: Red Hat's pilot for open source inference
TL;DR · AI 摘要
Red Hat通过EnMaaS试点项目,利用开源架构和Praxis框架有效降低企业AI推理成本。
核心要点
- Praxis框架采用Rust语言实现,提供低延迟的AI网关服务
- EnMaaS验证显示可减少70%商业API支出
- llm-d实现分布式开源模型服务,支持千名工程师并发使用
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- EnMaaS开源推理架构
- 技术实现
- Praxis框架(Rust语言)
- llm-d分布式服务
- 核心优势
- 降低70%商业API成本
- 支持千人并发使用
金句 / Highlights
值得收藏与分享的关键句。
Rust提供低级内存效率和高速数据传输,直接在数据平面层处理请求
Praxis通过统一进程处理请求,避免了外部容器带来的延迟叠加
EnMaaS验证显示,采用开源架构后商业API支出减少70%且开发速度未受影响
EnMaaS:Red Hat 的开源推理试点项目
Component | Article_teaser
2026年11月9日
5分钟阅读
AI推理
,
人工智能
开源
Stephen Watt
首席工程师兼CTO办公室副总裁
Subpattern | social_share_set
Component | social_share
分享
Subpattern | subscribe
Component | social_icon
订阅RSS
Component | Icon
© Red Hat, Inc. CC-BY-4.0 授权
Subpattern | results_nav
组布局
Component | Nav_links
- 返回所有文章
Component | Generic
随着前沿模型推理成本的激增,Red Hat 直面挑战,通过 EnMaaS(工程模型即服务)证明企业级 AI 并不需要完全依赖昂贵的商业端点。通过部署在 Red Hat AI 上的内部 MaaS 试点项目,我们将 Praxis(一个用于构建代理服务器的框架,该框架还提供了基于其构建的 AI 网关)与 llm-d(用于分布式开源权重模型服务)相结合。在我们的全球工程组织中部署这一开源架构,证明了智能代理和分布式模型服务能够满足企业级开发推理需求,推动开发者在常规工作负载中采用托管开源权重模型,同时在不牺牲效率的前提下显著降低商业 API 开销。
这一转型凸显了智能代理悖论:虽然前沿模型能推动早期实验,但长期运营的可行性需要可扩展且成本效益高的开源权重替代方案。作为我们自己的“零号客户”——这是 Red Hat 首席执行官 Matt Hicks 今年早些时候在 Red Hat Summit 上强调的哲学理念——我们在将其带给开源社区之前,对这套架构进行了严格的测试和优化。
构建 Praxis
当我们的工程团队评估现有现代和遗留网关选项时,试图将代理服务器改造为能够处理大型 AI 负载的系统,感觉就像试图将方钉插入圆孔。我们选择 Rust 作为开发语言,专门用于原始数据执行,以实现高性能,并与行业向 Rust 网络技术的更广泛转型保持一致。Rust 为我们提供了底层内存效率、卓越的数据传输速度以及在数据平面层直接进行的高速数据转换。
Praxis 于 2026 年 9 月提交至云原生计算基金会(CNCF),作为数据平面上的单一统一 Rust 进程运行。它不通过多个独立代理串联或运行引入复合延迟的外部侧车容器,而是整合请求管道。Praxis 检查提示信息,执行基于正文的路由,管理 API 翻译,并在本地应用内容防护措施。这些操作的安全保障是一个策略引擎,由 IBM 研究人员贡献,用于执行组织的安全和安全政策。
通过 EnMaaS 和 llm-d 内部验证解决方案
#### EnMaaS
我们的挑战是通过单个 API 端点为数千名工程师提供对多种模型的受控访问。开发者需要在开源权重模型和专有前沿模型之间灵活选择,而团队则需要实时跟踪令牌使用情况以管理分配配额的支出。
应用我们的客户零方法,我们推出了EnMaaS,该平台整合了关键的开源技术:Praxis作为我们的AI网关,llm-d用于模型服务。红帽工程师通过将其直接集成到日常软件开发流程中,验证并优化了解决方案架构。
EnMaaS是我们工程组织中AI服务的统一入口,受控的前端门户。与要求开发者管理多个供应商账户和入职流程不同,EnMaaS为我们的工程师提供了一个单一的网关密钥,可访问前沿商业API和内部托管模型。
数千名红帽开发者将日常编码工具链直接路由到该平台:
- 自助服务入职:通过单点登录认证的简化门户,用户可即时自助注册并生成统一的API密钥,根据组织政策解锁对商业API和内部托管模型的受控访问权限。
- 广泛的环境支持:开发者可通过开箱即用的兼容性,保持其偏好的工作流程,支持商业工具、开源框架和新兴代理框架。
- 控制平面:管理员可动态配置特定团队的模型可用性,使团队既能访问Anthropic和OpenAI等前沿模型,也能通过与IBM研究院合作的llm-d,使用GLM等开源权重模型。在企业级规模上服务前沿类开源权重模型需要复杂的编排,利用Kubernetes和vLLM实现运行时调度、多Pod协调以及动态工作负载和GPU集群的优化KV缓存管理。
#### llm-d
在这一网关层之后,Praxis直接连接到我们内部的高性能开源权重模型服务基础设施。在企业级规模上服务前沿类开源权重模型需要复杂的编排,这正是llm-d的作用所在。
在我们的技术栈中,llm-d——由红帽联合创立并于2026年3月捐赠给CNCF的原生支持Kubernetes的分布式推理框架——与vLLM协作,将模型服务器集群统一为单一系统。它通过实时负载、预测延迟和前缀亲和性进行运行时调度,同时在GPU、CPU和NVMe存储之间分层管理KV缓存,实现对等节点间的缓存块共享。此外,它还处理预填充/解码分离和多节点专家并行计算,高效地在数百个GPU上服务十余种开源权重模型。
通过将Praxis作为AI网关,并以llm-d和vLLM作为分布式服务基础,我们的内部部署揭示了开发者采用率和运营影响的显著变化:
- 大规模处理能力:综合环境已处理高强度的内部开发需求,在30天窗口内处理超过1万亿个token。
- 工作负载多样性:通过Praxis智能地将开发工作负载路由到托管的开源权重模型,我们的团队将大部分常规编码和评估流量从外部API转移。
- 采用模式:使用模式表明,当提供无摩擦访问时,开发者会迅速接受开源权重模型。初始使用比例为商业前沿API占70%、开源模型占30%,但已转变为内部托管开源模型占70%、商业API占30%,且开源模型占比每天都在增加。
- 成本效率:从前沿模型转向基于llm-d的自托管模型,相比之前的前沿模型定价,有效令牌支出减少了40%至70%(具体取决于提示缓存效率和模型路由),这展示了智能代理如何在保护基础设施预算的同时加速开发人员效率。
流量治理与令牌管理
部署模型时,速度只是成功的一半。任何使用大型语言模型运行开发团队的人都知道,API支出可能迅速攀升。没有集中的可见性和流量控制,不受控制的模型使用会产生不可预测的开销。
如EnMaaS所示,Praxis充当了集中的模型即服务控制点。位于开发工具和模型端点之间,网关允许开发人员使用托管凭证进行身份验证,同时自动为其特定租户和目标注入授权的上游密钥。
这种设计使团队能够立即掌握使用情况:
- 令牌核算、配额和速率限制:内置的遥测功能可实时跟踪每个用户、团队和模型的令牌消耗和支出指标,适用于多个租户。可以应用速率限制来平滑峰值,团队可以强制执行月度预算限制,在业务部门之间共享容量,并消除盲点。
- 持续可用性与降级:当开发人员或团队用尽其商业月度令牌预算时,Praxis可以自动降级到提供托管开放权重模型。此外,网关对预算和速率限制耗尽的响应是完全可配置和动态的,允许团队设置仅用于报告的软限制或强制执行硬限制,并根据特定条件(如一天中的时间)调整规则。这有助于关键代理工作流程和IDE补全保持不间断,而不会产生额外成本。
使用Praxis和OpenShell控制SDLC
在构建代理后,开发团队将其配置为通过Praxis访问模型,然后使用OpenShell(一个开源代理运行时)对其进行保护,从而在代理操作周围建立隔离的强化运行时边界,并对代理的行为和对本地文件、凭证和外部网络的访问提供更严格的安全控制。OpenShell还用于我们内部的代理式SDLC中,用于保护驱动流水线各阶段的不同代理。
邀请参与构建
行业需要为高性能、可扩展性、效率、操作简单性和透明成本治理而设计的开放、可靠的基础组件。解决这些挑战需要中立于供应商的社区驱动协作。我们正在以开放的方式开发这些工具,并基于实际应用场景,使生态系统中的工程师能够在此基础上构建并为架构做出贡献。与上游社区(如CNCF)合作,我们旨在推动这些标准的发展,并将这些功能整合到Red Hat的AI产品组合中。
您可以通过GitHub以及CNCF参与EnMaaS、Praxis、llm-d和OpenShell的开发,共同塑造高性能AI基础设施的开源基础。
Component | Card_header
关于作者
Subpattern | speaker
Card layout
Component | Image_embed
Component | Person
Stephen Watt
Subpattern | social_links
Steve Watt 是一位杰出工程师,也是首席技术官办公室的副总裁,该办公室包括 Red Hat Research 和新兴技术部门。在加入 Red Hat 之前,Steve 曾担任惠普公司 Hadoop 业务创始人及 Hadoop 首席技术专家,并在 IBM 新兴技术部门担任软件架构师和首席发明家。在 IBM 之前,Steve 曾在美国和他家乡南非的多家面向消费者的软件初创公司工作。
Component | CTA
作者的其他文章
Component | Band_header
类似内容
动态模式
博客文章
Red Hat OpenShift 5:智能应用平台
Red Hat OpenShift 5 新功能
原始播客
企业中能否信任 AI 代理?
代理 AI 能否修补互联网?
继续探索 mbox
子模式 | simple_text
按频道浏览
Component | Cta_multi_basic
子模式 | simple_cta
浏览所有频道
模式 | raw_html
自动化
关于 IT 自动化在技术、团队和环境中的最新动态
人工智能
关于使客户能够在任何地方运行 AI 工作负载的平台的最新进展
混合云
探索我们如何通过混合云构建更灵活的未来
安全
关于我们在不同环境和技术中降低风险的最新动态
边缘计算
关于简化边缘操作平台的最新进展
基础设施
关于全球领先的企业的最新动态 Linux 平台
应用程序
深入了解我们解决最复杂应用程序挑战的方案
虚拟化
您本地或跨云工作负载的企业虚拟化未来