Polymorphic Inference: self-tuning inference for open models

TL;DR · AI 摘要
多态推理通过动态适应模型架构和硬件变化,解决开源模型爆炸式增长带来的部署挑战,Together AI提出持续编译技术实现自动优化。
核心要点
- 80%的OpenRouter流量来自近三个月发布的模型,凸显模型迭代速度挑战
- 多态推理支持不同架构模型的统一部署,兼容LLaMA、Mistral等主流架构
- 持续编译技术使推理系统能自动适应硬件升级,如从B200到GB300的算力跃迁
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- 多态推理体系
- 行业挑战
- 模型迭代速度
- 架构碎片化
- 硬件快速更替
- 核心技术
- 持续编译
- 动态架构适配
- AI代理优化
- 实施成果
- OpenRouter部署
- 硬件利用率提升
金句 / Highlights
值得收藏与分享的关键句。
80% of traffic on OpenRouter goes to models released in the last three months
Polymorphic Inference is inference that changes and adapts to rapidly-changing environments
Continuous Compilation enables inference systems to optimize their own performance
摘要
在Together AI,我们致力于让AI技术广泛惠及每个用户和组织。我们的研究团队(FlashAttention、ThunderKittens、ThunderAgent等技术的创造者)一直是推动推理技术卓越的核心力量。随着推理市场需求呈指数级增长,我们一直在思考如何扩大研究能力,为所有人提供更丰富的智能服务。
这要求我们从静态推理转向多态推理——这是我们对模型发布速度加快、模型架构多样性增加、工作负载和硬件平台快速变化的应对方案。在本文中,我们将重点介绍多态推理时代的研究方向——以及我们如何持续利用AI代理通过持续编译技术优化自身的推理能力。

什么是多态推理?
过去一年,开源模型的多样性以及这些模型在生产环境中的部署方式发生了显著变化。我们认为这种变化需要一种新的方法,即我们提出的多态推理。
多态推理(源自希腊语"many shapes"的推理)是对行业多项变化的回应,对我们而言主要由以下趋势的融合所驱动:
- 模型发布速度持续提升。开源模型的发布频率和多样性都达到了前所未有的水平。80%的OpenRouter流量都流向过去三个月发布的模型。
- 模型架构多样性显著增加。目前最流行的前十款开源模型都采用不同的架构(更不用说合作伙伴提供的众多闭源架构)。
- 持续演变的流量模式。我们每天都要面对新用户、新组织和新地区带来的各种工作负载形态和SLA要求。训练后处理、开源模型的微调等操作都可能改变流量模式(例如新的训练后处理可能增加模型思考时的token消耗以换取更高的质量)。
- 硬件变化速度加快。我们见证了从B200到GB300的重大变化,即将迎来首批Vera Rubin部署(更不用说CPU级优化、先进存储系统和替代推理芯片的演进)。
多态推理正是对这些变化的回应——一种能够适应快速变化环境的动态推理方式。
我们将其与开源推理爆发前的时代形成对比,我们回溯性地称那个时代为"静态推理"时代。与现代多态推理能呈现无限种形态不同,静态推理时代由封闭模型、传统Transformer架构、单用户和单一硬件平台推理所定义。
从静态推理到多态推理
我们撰写这篇博文的动机之一是,目前关于推理系统的讨论仍然高度聚焦于传统的静态推理范式。
- 例如,目前在线上常见的 vLLM、SGLang 或 InferenceX / AgentX 方案通常都采用静态超参数调优的推理引擎配置。一种针对特定场景优化的配置未必适用于其他场景。
- 开源内核的发布往往基于某些静态流量形状和设计决策,这些假设可能与实际生产流量存在偏差。一个经典案例是 MoE 内核;一个在随机 token 上表现良好的 MoE 内核可能无法适应实际生产环境。
我们在此也承担部分责任!长期以来,编写适用于多种场景的最优内核一直是可能的。FlashAttention 一直是我们心中运行训练任务和许多预填充任务的最佳方式之一。
近两年前我们曾撰文讨论过用于 AI 推理的 megakernel(巨内核),这种内核围绕单一静态形状(例如 batch size 为 1 的 Llama 1B)精心设计。但通过去年将首批 megakernel 部署到客户生产环境的经验,我们学到了一个有趣的教训:巨内核融合实际上并不是现代多态推理的正确设计目标! 在多态推理时代,每种变化——从模型架构(如 MoE)到工作负载(动态批量大于 1 的工作负载)——都需要不同的技术方案。
为多样化且快速变化的条件优化多态推理
在 Together,我们本质上是系统和 AI 研究人员——因此,我们认为这正是重新思考我们研究议程的激动人心的时刻,以迎接这个光明的新未来。
_那么,当生产流量变得越来越多样化时,解决方案是什么?让 AI 代理自行优化。这正是开源模型的 RSI 时刻!_
实现多态推理需要解决我们在服务模型时面临的多项技术挑战。理想的多态推理体验应能快速响应模型架构和工作负载的快速变化。
例如:
- 如果流量模式发生变化(无论是产品变更还是用户行为变化),应期望推理系统能快速适应。
- 如果部署新模型的工作负载,应期望推理服务提供商能尽快接近理想的手工调优基线。
- 如果现有产品拥有稳定的用户流量,但部署到新硬件平台时,应期望性能能尽快接近硬件极限。
这些目标虽然雄心勃勃,但我们认为值得为之努力。对我们而言,实现这些目标的关键之一是 让 AI 代理帮助自身优化。RSI 循环现已为开源模型开启!
与 Together Compiler 的持续编译
今天,我们宣布的第一个实现多态推理目标的项目是 **Together Compiler**,这是一个快速的 AI 驱动性能优化 RSI 循环。目前,Together Compiler 在我们许多顶级生产推理工作负载中实现了 持续编译 优化循环。
Together Compiler 将经典的优化推理工作负载挑战重新定义为智能体搜索问题。Together Compiler 识别出一组核心优化模式,并通过大量智能体与高保真持久化引擎协同工作,实现快速迭代。这项工作是 Together 公司前沿性能团队数月努力的成果,特别是 Reyna Abhyankar 和 Dylan Lim 的贡献!

Today, Together Compiler 已在我们最受欢迎的无服务器端点中投入生产,它在已有高度优化的代码基础上进一步提升了性能。
令人兴奋的是,Together Compiler 让我们能够 快速适应 快速变化的模型架构和流量负载。我们将这一能力称为 持续编译。此前,新工作负载需要手动编写新的内核和优化方案,而由 Together Compiler 驱动的持续编译意味着我们可以 自动 适应新的流量模式和负载。
Together AI 研究团队的下一步计划
我们通过扩展 Together AI 的规模,每天处理数万亿个 token(10 月初甚至首次在 OpenRouter 上处理的 token 数量超过了闭源模型实验室),学到了很多经验。这为我们塑造了 Polymorphic Inference 时代的研究愿景和议程。以下是我们研究议程中即将推出的一些内容预览:
通过 Together Compiler 实现自助式持续编译
性能优化应作为工作负载部署的函数:模型、引擎、流量模式和客户使用场景。很快,我们的客户将能够通过点击按钮,使用 Together Compiler 为其专属端点优化其独特的负载。
Today, Together Compiler 已向终端客户开放有限的 beta 测试 – 联系我们 以获取早期访问权限!
可变形的推测解码
开源仓库中提出的推理引擎配置(如 VLLM、InferenceX、AgentX)启动引擎时使用固定的推测解码草稿模型和前瞻参数。推测解码需要根据领域、请求、token 以及流量负载进行调整。
ThunderAgent 路由器:跨异构部署的路由
无服务器推理端点为大量用户服务,每个用户都带来不同的流量模式和 SLA。这种异构性要求我们动态地在集群中的工作节点和部署配置之间路由请求。我们发布了 ThunderAgent 作为 ICML 2026 的亮点论文,分享了一些早期见解,并在生产环境中进一步扩展了这些基础。
Together Post-Training
目前已有几家客户希望将开源模型后端整合到其 AI 应用中。这需要选择一个开源模型,选择并定制适配器以满足客户的特定工具调用和使用场景,并对模型进行后训练,使其能够良好地与适配器交互。我们与 Moonshot、Minimax 等模型实验室的紧密合作使我们能够帮助客户为其特定使用场景定制开源模型,并真正掌控其智能栈。
TogetherLink:基于工作负载的模型路由
随着开源模型的不断进步,关键的一环是让这些模型触达每个人。普遍的看法是像 Opus 5.5 这样的闭源模型始终表现最佳。但人工智能的发展历史反复证明,只要组合方式得当,多个表现良好的模型集成在一起,其效果完全可以超越单一的顶级模型。这一理念源于我们在斯坦福大学 Hazy Research Lab(Ask Me Anything)对弱监督方法的探索,也建立在我们自身关于模型融合的研究基础之上(Mixture-of-Agents,ICLR 2025)。
普惠的智能
推理是人工智能系统中最引人入胜的问题之一,而我们通过大规模服务实践获得了许多新的洞见。为了实现让人工智能真正普惠于 _每个人_ 的目标,我们需要在多态推理时代构建能够持续适配每位用户和每种工作负载的推理系统。我们很兴奋能够帮助构建闭环,为实现真正具有递归自优化能力的人工智能系统贡献一份力量。
如果多态推理的理念与您所在组织或使用场景高度契合,欢迎联系我们获取早期访问权限 – 我们非常期待帮助您应对这些新的复杂挑战。
最后,如果您希望与我们携手应对多态推理的挑战,请访问我们的职业页面 – 我们正在招募人才!