T
traeai
登录

公司

Inferact

与Google合作开发vLLM的公司

已跟踪 3 条高相关材料

TraeAI 观察

相关材料

已收录 3 条与 Inferact 相关的内容,按评分排序。

Google Developers Blog 图标

Announcing New vLLM and SGLang Inference Engines on TPU

Google Developers Blog1557 字 (约 7 分钟)
85

Google推出基于TPU的vLLM和SGLang推理引擎,通过TorchTPU实现PyTorch原生支持,优化大模型服务性能。

入选理由:TorchTPU使TPU成为原生PyTorch设备,支持自定义Pallas内核

精选文章#TPU#PyTorch#推理引擎#AI#大模型英文
148. 对游凯超3小时访谈:开源Infra、和模型Co-design 、“如果vLLM失败,我们会后悔一辈子”

开源项目vLLM的商业化与模型基础设施协同设计为AI领域提供了新思路,揭示了开源社区向企业转型的挑战与技术融合路径。

入选理由:vLLM从论文到开源社区耗时3年,社区维护者放弃个人利益坚持开源精神。

精选播客#开源#AI Infra#模型协同设计#创业公司#vLLM中文
PyTorch Blog 图标

PyTorch Conference North America Announces 2026 Keynotes

PyTorch Blog274 字 (约 2 分钟)
55

PyTorch 2026 北美会议公布演讲者名单,涵盖 AI 领域多位技术领袖,会议将于 2026 年 10 月在加州圣何塞举行。

入选理由:2026 年 PyTorch 会议将于 10 月 20-21 日在加州圣何塞举办

精选文章#PyTorch#AI会议#技术演讲英文

跨材料问答 · Inferact

回答基于:Inferact 相关 3 条材料
    0 / 500

    AI 可能会生成不准确的信息,请核实重要内容