Y Combinator(@ycombinator)

This week’s Paper Club is all about inference. For every FLOP spent training a model, roughly six ...

6.7内容质量

TL;DR · AI 摘要

Y Combinator on X: "This week’s Paper Club is all about inference. For every FLOP spent training a model, roughly six go...

核心要点

  • 主题聚焦:This week’s Paper Club is all about inference. F
  • 来源:Y Combinator(@ycombinator),建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#后端
打开原文

Y Combinator在X平台上的推文:“本周的Paper Club聚焦于推理。每投入1个FLOP用于训练模型,每年大约会有6个FLOP用于模型服务——而正确处理这一环节在过去十年中创造了超过2200亿美元的市值。但推理远不止于调用model.forward。每个token都必须通过一个复杂的堆栈,包括路由、缓存、调度、内核、内存和硬件,同时平衡速度、成本和质量。我们汇聚了来自

@togethercompute

、

@ollama

@luminal_ai

和

@sgl_project

&

@radixark

的研究人员与开发者,带我们全面解析这一堆栈。我们将看到一个token如何从API请求传递到GPU再返回,为何相同的开源模型根据服务方不同表现会有所差异,以及新的编译器和缓存方法如何让推理更快更高效。”

00:00

  • 为何推理比训练更重要

08:24

  • 三种推理创新类型

12:14

  • 丹·福(

@realDanFu

):推理请求的生命周期

42:18

  • 杰夫·摩根(

@jmorgan

):并非所有开源模型token都相同

1:04:31

  • 乔·菲奥蒂(

@joefioti

):用搜索而非启发式方法编译模型

1:30:30

  • 姚良生(

@lsyincs

):SGLang与智能体时代的内存管理

$

/$

弗朗索瓦·肖巴尔

2026年10月24日 下午4:30

·

11.7K

浏览量

21

15

74

38