Last year we built megakernels. This year we deleted them: The road to Together Compiler
Together AI 通过删除 megakernels 并采用新方法,实现了接近甚至超越原有性能的推理优化框架 Together Compiler。
入选理由:使用 CUDA Graphs 和 PDL 可恢复 98% 的 megakernel 性能,无需编写任何内核。
模型
基准测试中使用的大型语言模型
已跟踪 2 条高相关材料
最近变化
2026-11-16 · 使用 CUDA Graphs 和 PDL 可恢复 98% 的 megakernel 性能,无需编写任何内核。
为什么值得关注
Llama 1B 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
Last year we built megakernels. This year we deleted them: The road to Together Compiler
Together AI Blog · 8.5 分
Together AI 通过删除 megakernels 并采用新方法,实现了接近甚至超越原有性能的推理优化框架 Together Compiler。
Together Compiler: Continuous Compilation for AI inference
Together AI Blog · 8.5 分
Together Compiler(TKCC)通过持续编译优化AI推理,实现2.6倍TPS提升,适用于多模型、多硬件场景。
已收录 2 条与 Llama 1B 相关的内容,按评分排序。
Together AI 通过删除 megakernels 并采用新方法,实现了接近甚至超越原有性能的推理优化框架 Together Compiler。
入选理由:使用 CUDA Graphs 和 PDL 可恢复 98% 的 megakernel 性能,无需编写任何内核。
Together Compiler(TKCC)通过持续编译优化AI推理,实现2.6倍TPS提升,适用于多模型、多硬件场景。
入选理由:TKCC在24小时内实现2.6倍TPS提升,覆盖Kimi K3等主流模型