EnMaaS: Red Hat's pilot for open source inference
Red Hat通过EnMaaS试点项目,利用开源架构和Praxis框架有效降低企业AI推理成本。
入选理由:Praxis框架采用Rust语言实现,提供低延迟的AI网关服务
产品
别名:llm-d项目
分布式LLM编排系统
已跟踪 3 条高相关材料
最近变化
2026-11-09 · Praxis框架采用Rust语言实现,提供低延迟的AI网关服务
为什么值得关注
llm-d 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
EnMaaS: Red Hat's pilot for open source inference
Red Hat AI · 8.5 分
Red Hat通过EnMaaS试点项目,利用开源架构和Praxis框架有效降低企业AI推理成本。
Crossing the threshold to dependable open source AI serving
Red Hat AI · 8.5 分
开源AI服务已从实验阶段进入成熟基础设施,Red Hat的vLLM和llm-d项目解决了大规模集群中的模型服务挑战。
Minimize idle accelerators: Native RL job interleaving with co-operative time-slicing in llm-d
Google Cloud Blog · 8.5 分
Google推出llm-d项目通过动态调度技术,将强化学习训练中加速器利用率从40%提升至70%,显著降低计算成本。
已收录 3 条与 llm-d 相关的内容,按评分排序。
Red Hat通过EnMaaS试点项目,利用开源架构和Praxis框架有效降低企业AI推理成本。
入选理由:Praxis框架采用Rust语言实现,提供低延迟的AI网关服务
开源AI服务已从实验阶段进入成熟基础设施,Red Hat的vLLM和llm-d项目解决了大规模集群中的模型服务挑战。
入选理由:vLLM项目已纳入PyTorch基金会并支持多硬件架构
Google推出llm-d项目通过动态调度技术,将强化学习训练中加速器利用率从40%提升至70%,显著降低计算成本。
入选理由:co-operative time-slicing技术使加速器利用率提升至70%