https://t.co/G0TgUZuAJ4

这期商业访谈录也超级精彩，了解到很多关于 Deepseek 的厉害之处。

小宇宙博客地址：

https://www.xiaoyuzhoufm.com/episode/6a66ed17a3fec224d5a3f744

**AI 重写成文章，帮没空听的朋友节省3小时：**

有人在公司注册前夕接到电话，对方开门见山：你们四个创始人，每人年薪两千万美元，来我们公司做基础设施。

他们没有一个人犹豫，直接拒绝了。

这是游凯超和他的联合创始人们在创立 Inferact 前，经历的最后一次考验。

在此之前，他们已经在 vLLM 这个开源项目上并肩做了几年，拒绝过 xAI 的邀请，拒绝过 Thinking Machine Labs 的邀请，拒绝过数不清的大厂 offer。

他们说服彼此的方式，只有一个问题：**如果你赚了很多钱，但十年后 vLLM 项目失败了，你会开心吗？**

• * *

从算法研究到系统工程，这条路怎么走的

游凯超本科在清华，高考分数只比录取线高了两三分，但四年下来拿了 36 门课程的满绩，**论文精读笔记进了校史馆。**

他不觉得这叫"卷"，更多是因为不喜欢刷题，更愿意学新东西。

本科阶段他做的是迁移学习方向的算法研究，但有三件事让他逐渐转向系统工程。

第一件事是学术圈的变化。

2018 年他刚入行时，一个顶会一年几百篇投稿，审稿人还会认真给反馈。

后来投稿数每年几何级数增长，审稿质量急剧下降，中稿与否跟工作质量的关系越来越小。

他亲眼看着这个过程发生，觉得大厦将倾，一个人改变不了，就不再把发论文当追求。

第二件事是一个观察。

他发现算法研究的天花板，很大程度上取决于背后的机器学习系统。

他们实验室里做的算法，在玩具数据集上能提升 1% 到 2% 的准确率，但一年后别人换了个更大的预训练模型，收益比他的算法还大。

**决定成败的是系统和数据，不是你怎么雕交叉熵（cross entropy，衡量模型预测和真实答案之间差距的损失函数）的加权方式。**

第三件事是 2022 年的一次偶遇。

他在一个计算机视觉大会上厚着脸皮拉住旷视首席科学家张翔宇聊了一个多小时。

**他以为对方会聊目标检测算法，结果张翔宇说的全是复杂硬件对软件带来的挑战，以及工程师每天最头疼的不是调参数，而是适配英伟达的库、写各种算子。**

这三件事加在一起，让他从算法研究切换到了机器学习系统。

• * *

vLLM 是怎么来的

2019 年，游凯超去伯克利做暑期研修，在 RISE Lab 认识了李卓汉（Zhuohan Li），后者当时刚刚申请到 Ion Stoica 教授的博士名额。

Ion Stoica 是 Spark、Ray 的幕后推手，伯克利开源软件的传统就是从他的实验室一脉相承下来的。

**BSD 操作系统、RISC-V 芯片架构、Spark 大数据框架、Ray 分布式计算框架，都出自伯克利。**

2024 年，游凯超再次去伯克利交流，正好赶上 vLLM 项目快速发展的阶段。

vLLM 的起源是一篇叫做 PagedAttention 的论文，第一作者是 Woosuk Kwon。

核心思路是**借鉴操作系统的虚拟内存管理机制，来管理大模型自回归生成过程中产生的中间状态**（KV cache，可以理解为模型在生成每个词时需要反复查阅的"草稿纸"）。

这个想法并不算多么惊艳，投稿到 SOSP 2023 时审稿人就说"太简单了，没什么 novelty（新颖性）"，最后是以低分过线的状态被接受的。

但论文发表后，作者团队开源了这个推理引擎，这才是 vLLM 真正的起点。

**PagedAttention 只是一个算法，vLLM 是一整个大模型推理的生态系统。**

Ion Stoica 很早就看到开源推理引擎里有巨大机会，推动学生团队把 vLLM 当重要开源项目来维护。

但不是所有人都认同，加上每个人处于博士不同阶段，有各自的压力和选择，最后主要是 Woosuk Kwon 和李卓汉两个人在撑着。

游凯超去了之后算第四个核心成员，他当时的判断很直接：**ChatGPT 已经火了，大家都在研究怎么训练模型，但模型训完了总要推理，vLLM 就是做这件事的，前途明确，值得投入。**

• * *

24 年重构，25 年中国开源模型爆发

游凯超加入后，2024 年的主旋律是重构，从 V0 到 V1。

他用了一个比喻：**推理引擎就像电力系统，把模型（发电机）跑在硬件（自然资源）上，最后把 token 分发给用户。**

这次重构相当于整个发电系统从火电过渡到新能源。

用户侧感受不大，插上就能用，但背后的工作原理发生了根本变化。

最困难的地方在于：**背后支持的模型和硬件在不停变，但要给前端用户一个统一的体验。**

用户只是在下拉菜单里换了个模型名字，从 DeepSeek 换成千问，但背后推理引擎要处理的差异可能是天壤之别。

2024 年底，游凯超结束交流回国，正好碰上 DeepSeek V3 发布。

2025 年初 R1 发布，春节前后开始爆火，中国开源模型随之像雨后春笋一样涌现。

他回国后做的第一件事是从零搭建 vLLM 的中文社区：把沟通渠道从 Slack 迁到国内平台，走访 DeepSeek、Kimi 等公司，了解他们用 vLLM 遇到的问题，把大家串联起来。

• * *

DeepSeek 与 vLLM：从社区一员到震惊所有人

DeepSeek 和 vLLM 的合作，比大多数人意识到的要早得多。

早在 2023 年、2024 年，DeepSeek 内部就在用 vLLM，并在此基础上做了大量自己的优化，形成了深度定制的变种。

从 DeepSeek MoE 到 V2，再到 V3，他们和 vLLM 社区一直保持联系。

但那时候，DeepSeek 在社区里只是泯然众人的一个模型厂商，没有人预料到接下来会发生什么。

**V3 在 2024 年底发布，R1 在 2025 年春节前后爆火，整个局面变了。**

游凯超说，DeepSeek 的 Infra 团队在推理引擎方面比 vLLM 走得更前，那段时间他们是在不断向 DeepSeek 学习的。

这种说法不是客套，而是真实的技术差距。

DeepSeek 深厚的 Infra 功底，游凯超认为根源在于幻方量化时期。

幻方是 DeepSeek 的母公司，一家量化对冲基金，2016 年就把深度学习用进了量化交易，到 2017 年底几乎所有量化策略都跑在 AI 模型上。

可能做量化的人对性能有一种近乎偏执的要求，每一毫秒的延迟都直接影响收益，这种极致压榨性能的习惯，被带进了大模型时代。**幻方出来的工程师，骨子里就是把系统性能当生死线来对待的。**

DeepSeek 的另一个特点是算法和 Infra 深度融合。

他们的算法同学懂 Infra，Infra 同学懂算法。

2024 年初探索 MoE（Mixture of Experts，混合专家架构，让模型对不同输入动态选择不同的"专家模块"来处理，提高参数利用效率）时，是算法同学自己写出了高效的 MoE 实现；细粒度 MoE 也是他们在推理系统里第一个做出来的。

这种双向渗透让他们的探索效率远高于算法和 Infra 各自为战的团队。

但 DeepSeek 的 Infra 也不是没有走过弯路。

游凯超提到一个案例：为了让 MoE 的专家负载均衡，有人选择了 expert choice 路由方案（让专家主动挑选 token，而不是 token 选专家，能保证每个专家的计算量均匀），这在 Infra 上跑得很快，但在算法上是不可接受的。

因为这样做会导致某些 token 被处理的次数不一致，破坏模型的自回归生成逻辑。

**Infra 能力强是优势，但如果 Infra 过度主导，也会忽略算法层面的约束。**

• * *

DSpark：DeepSeek 最新的推理优化

游凯超在访谈中专门解读了 DeepSeek 最近发布的 DSpark。

要理解 DSpark，先要理解大模型推理的一个根本性瓶颈：**自回归生成只能一个 token 一个 token 地输出，效率很低。**

**投机解码（speculative decoding）的思路是，用一个小模型先猜测接下来要生成的几个 token，再让大模型一次性验证，猜对的全部保留，猜错的从出错位置重来。**

输出结果和大模型自己生成的完全一致，但速度快很多。

DSpark 的前身是 DFlash，一种并行投机解码方案。

DFlash 一次猜 16 个 token，猜的多，但猜错的也多，存在大量算力浪费在验证错误 token 上。

DSpark 在 DFlash 基础上加了两个改进：

• 一是在并行生成骨干上加了一个轻量级的串行头，让每个位置的 token 能参考前一个 token，减少后段猜错的概率。
• 二是加了一个置信度评估头，配合硬件感知的调度器，**GPU 空闲时多验证、繁忙时少验证**，动态决定哪些 token 值得送去验证。

实测效果相当显著：**在 DeepSeek V4 的生产服务中，相比此前的 MTP-1 基线，同等吞吐量下每个用户的生成速度提升了 57% 到 85%，且输出结果与原模型完全一致，没有任何质量损失。**

游凯超的评价是：**算法创新性不算很高。**

腾讯会员团队的 D-Cut 和上交的 Domino，都用了类似思路，而且在 DSpark 之前就已经发布。

**但 DeepSeek 一如既往地把工程实现压榨到了极致，把一个并不新颖的想法真正做到了生产可用的状态，这才是最难的部分**。

vLLM 和英伟达此前刚刚联合发布了一篇技术博客，介绍 vLLM 里的 DFlash 支持，某些模型已经能达到每秒上千 token 的速度。

接下来 vLLM 也会支持 DSpark 相关算法，游凯超说他们已经和 DeepSeek 团队、腾讯会员团队保持着密切沟通。

• * *

2000 个贡献者，最大的挑战是屏蔽噪音

2025 年，GitHub 按贡献者活跃度排序，vLLM 是整个平台最活跃的项目。

这带来了幸福的烦恼。

今年 5 月，游凯超发现有培训机构通过提交垃圾代码来包装学员简历，让学员可以在简历上写"vLLM 项目贡献者"。

这彻底打破了一个基本假设：开源社区的用户都是善意的。

他们现在的应对方式是引入认证机制，更重视来自知名机构的贡献，直接屏蔽明显是机器人的账号，比如十分钟内提交 20 个 PR 的，全是 coding agent 生成的无营养内容，直接 block（封）。

他对开源社区未来演进方向的判断是：**代码变得如此廉价，维护者花时间看别人的 PR，不如自己让 coding agent 重写一遍。**

社区会逐渐分化成两个角色：维护者负责写代码，用户只需要提交 bug report（Bug报告） 或 feature request（功能请求）。

他们没有走 OpenClaw 那种 AI 完全自治的路线，**原因是 vLLM 的维护需要大量历史 context，而且很多工作是在解决"接下来三个月将要发布的新模型"的问题，这种前瞻性判断目前还没法交给 AI。**

• * *

为什么一定要开公司

Ion Stoica 很早就说：这么大一个项目，没有公司支撑，一定会凉。

Linux 没有 Red Hat 不会发展到今天，还有Google 对 Kubernetes、Databricks 对 Spark、Meta 对 Pytorch的支持。

但游凯超他们犹豫了将近两年。

犹豫的核心不是"要不要"，而是"是不是我们来搞"。

创业意味着要学融资、招聘、商业化，这些都是学生团队从没做过的事。

游凯超是最早下定决心的人之一。

他在伯克利交流期间观察了很多硅谷创业者，也和 Michael Jordan 教授聊过，结论是：创业失败最坏的情况，不过是少拿几年工资；但如果不创业，vLLM 最终没有办法长期发展。

他接了 Sky Lab 的博士后 offer，说自己会为 vLLM 的创业公司再等两年。

最犹豫的是 Woosuk Kwon，因为摆在他面前的机会太多：**xAI 邀请他去领导基础设施建设，Thinking Machine Labs 也发出邀请，他还以学生身份在 Google DeepMind 兼职过一段时间。**

最后游凯超他们逼宫式地问了他那个问题：**如果你赚了很多钱，但 vLLM 失败了，你会开心吗？**

Woosuk 想了几天，回来了。

2025 年七八月份，几个人都快毕业了，终于说：那真的开个公司吧。

公司注册前夕，某顶级大厂一号位打来电话，开出每人两千万美元年薪的条件。

没有一个人犹豫，直接拒绝。

• * *

融资比想象中顺利

Inferact 种子轮融了 1.5 亿美元，估值 8 亿美元，在 AI Infra 领域应该是全球最大的种子轮之一。

但游凯超说，这件事其实没那么难，因为投资人等他们等了很久。

a16z 在 2023 年就给 vLLM 项目提供了几十万美元的资助，红杉和真格在 2024 年也以捐赠形式支持过社区。

他们一直在等游凯超这几个人做决定。

消息放出去之后，投资人的反应是：钱已经准备好了，你们终于决定了。

直到现在，还不断有人主动找来，说可以直接给几千万美元的 SAFE（Simple Agreement for Future Equity，未来股权简单协议，一种早期投资工具，投资人先打钱，等下一轮融资时再按约定条件转换成股权，不需要当场定估值），下一轮融资时考虑进去。

游凯超的态度是谨慎乐观，**融资节奏要和公司成长速度匹配，不为融资而融资。**

• * *

模型和 Infra，为什么必须一起设计

游凯超解释 co-design 的方式很直接：**硬件是自然资源，模型是发电机，推理引擎是电力系统。有的地方水流湍急，有的地方平缓，你要根据水流特性设计发电机，才能最大化利用这部分能量。**

背后有一个概念叫"硬件彩票"（hardware lottery）：摩尔定律黄金时代，软硬件各自为战，硬件通用性能每两年翻倍，软件自然跟着变快。

但现在摩尔定律失效，算力增长靠的是专用硬件，如果你的算法没有利用到这些专用能力，就没抽中彩票，吃不到时代红利。

辛顿（Geoffrey Hinton）强推的 capsule network（胶囊网络）就是典型案例。

这个架构在概念上很有说服力，想解决卷积神经网络无法理解空间层级关系的缺陷，但它的核心运算"routing by agreement"大量依赖非矩阵乘法的操作，在 GPU 和 TPU 上跑起来效率极低，因为这些芯片都是为矩阵乘法深度优化的。

结果是，capsule network 在 CPU 上还能跑，一到 GPU 上性能就断崖式下跌，至今没有得到广泛应用。

**Transformer 则是抽中了 GPU 彩票，因为里面有大量矩阵乘法，天然适合并行。**

**模型结构决定了推理效率的上界。上界太低，系统工程师无力回天。**

他举了 RoPE（旋转位置编码，一种让模型理解词语位置顺序的技术）的例子。

位置编码的方案有上百种，但很多需要修改 attention kernel（注意力机制的底层计算核心）的内部实现，而大部分用户没有能力改 Flash Attention。

RoPE 的优势在于可以独立注入到 query 和 key 里，与 attention kernel 互补，成了最佳搭档。

这就是模型结构设计好之后，和 Infra 产生共鸣的效果。

• * *

开源项目的治理逻辑

vLLM 现在是 PyTorch 基金会下的顶级项目。

把项目捐给基金会，是为了从法律上确保它永远是开源的，商标属于社区，不会因为某家公司的决策而闭源。

具体的技术发展和商业化，由 Inferact 主导，同时英伟达、AMD、Red Hat、亚马逊、Google 等公司也在参与维护。

游凯超他们几个人在社区里叫做"仁慈的独裁者"：**平时心平气和地和大家沟通，但重要决定需要拍板时，大家得听他们的。**

他做过的一个强硬决定是把 beam search（束搜索，一种让模型同时探索多条候选输出路径、最后选最优的解码策略，常用于翻译和推荐系统）功能从引擎里删掉。

做推荐系统的用户持续来抱怨，但他的判断是 AI 这边的主要推理形式已经不再适应 beam search，继续维护只会给适配带来越来越多的复杂性。

他对开源社区成败的总结很简单：

• 第一，你解决的问题要是大家都关心的
• 第二，要有一家创业公司在背后支撑，而且必须是创业公司，大厂很难做到中立，社区里的其他大厂不会服它
• 第三，创始团队要持续在场。

换过领导之后还能发展很好的开源社区，他想不出先例。

• * *

结尾

游凯超现在的身份是 Inferact 联合创始人兼首席科学家，公司大概 30 多人，还在持续招人。

四位联合创始人分别是：CEO Simon Mo、CTO Woosuk Kwon、首席科学家游凯超，以及负责多模态推理和生态贡献的 Roger Wang，Ion Stoica 担任顾问。

他们的商业模式围绕大模型推理，探索方向包括直接提供 endpoint service（用户买 token）、BYOC 模式（Bring Your Own Cloud，客户有机器，Inferact 提供软件）以及生态合作。

**核心逻辑是按量收费，产生的价值取决于为客户多产生了多少 token、节省了多少成本，而不是卖工程师的时间。**

他们现在是供少于求的状态，想合作的商业客户远多于他们能支撑的数量，所以可以爽快拒绝与社区发展方向不一致的需求。

顺便提一句，访谈里游凯超提到的那个"在知乎上叫青苹果的同学"，是翁家翌（Jiayi Weng），他和游凯超一起做过天授（Tianshou）强化学习框架，现在是 OpenAI 后训练 RL Infra 的核心搭建者，从 ChatGPT 到 GPT-5，几乎每一个重大发布的贡献者名单里都有他的名字。

两个人走了截然不同的路，一个做开源推理引擎，一个在 OpenAI 内部搭基础设施，但底层的选择逻辑高度相似：**都是放弃纯算法研究，转向系统工程，用可以被量化的方式衡量自己的贡献。**

如果你在做大模型推理相关的工作，vLLM 的 GitHub 和游凯超搭建的中文社区是值得持续关注的地方。

不只是用工具，而是参与进去，了解这个推理引擎接下来三个月要支持什么，往往比等模型发布后再适配快得多。