T
traeai
登录

产品

llm-d

别名:llm-d项目

分布式LLM编排系统

已跟踪 3 条高相关材料

TraeAI 观察

相关材料

已收录 3 条与 llm-d 相关的内容,按评分排序。

Red Hat AI 图标

EnMaaS: Red Hat's pilot for open source inference

Red Hat AI1680 字 (约 7 分钟)
85

Red Hat通过EnMaaS试点项目,利用开源架构和Praxis框架有效降低企业AI推理成本。

入选理由:Praxis框架采用Rust语言实现,提供低延迟的AI网关服务

精选文章#AI推理#开源#Praxis框架#Rust#EnMaaS英文
Red Hat AI 图标

Crossing the threshold to dependable open source AI serving

Red Hat AI1380 字 (约 6 分钟)
85

开源AI服务已从实验阶段进入成熟基础设施,Red Hat的vLLM和llm-d项目解决了大规模集群中的模型服务挑战。

入选理由:vLLM项目已纳入PyTorch基金会并支持多硬件架构

精选文章#AI推理#开源#Kubernetes#分布式系统英文

跨材料问答 · llm-d

回答基于:llm-d 相关 3 条材料
    0 / 500

    AI 可能会生成不准确的信息,请核实重要内容