Together Compiler: Continuous Compilation for AI inference
TL;DR · AI 摘要
Together Compiler(TKCC)通过持续编译优化AI推理,实现2.6倍TPS提升,适用于多模型、多硬件场景。
核心要点
- TKCC在24小时内实现2.6倍TPS提升,覆盖Kimi K3等主流模型
- 实验吞吐量达基线系统的252倍,支持天气建模等非语言领域
- 区域流量差异达1.4倍,新模型发布后提示长度激增80%
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Together Compiler
- 核心机制
- 智能代理优化
- 持续实验循环
- 性能优势
- 2.6x TPS提升
- 252x实验吞吐量
- 应用领域
- 语言模型
- 天气建模
- 生物计算
金句 / Highlights
值得收藏与分享的关键句。
TKCC在MiniMax M3.1-Flash模型上实现1111 TPS,刷新InferenceX基准记录
区域流量差异显示某国工作时段提示长度达97k vs 70k
新模型发布两周后提示长度激增80%,用户转向智能代理工作负载
Together Compiler: 用于AI推理的持续编译
AI推理工作负载具有动态性。存在数千种不同的场景,涵盖新模型、硬件平台、客户、用例和流量模式。手动优化每种场景已不再具有可扩展性。
- 架构高度多样化:自Transformer提出以来已过去约11年。我们可能曾认为会出现更多整合,但OpenRouter上排名前10的开源LLM中没有使用相同架构的!
- 工作负载高度多样化:Together每天为数千名客户处理数万亿个token,每个客户的流量模式(批量大小、序列长度、MoE专家不平衡性、注意力稀疏性、会话时长、领域)各不相同。
- 硬件高度多样化:H100、B200、B300、NVL72、VR、Groq等每种硬件都需要不同的策略。
从理论上讲,智能体非常适合解决这个问题。它们可以适应新工作负载,并在可能的优化空间中进行搜索,而无需依赖困扰人类专家和传统机器学习编译器的固定规则或启发式方法。然而,当前的智能体系统因实验速度而受到限制。
我们推出Together Compiler(TKCC),这是首个真正利用高吞吐量智能体对多样化推理工作负载进行优化的持续优化循环
在不到24小时内,TKCC在前沿开源模型(Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash)上实现了高达2.6倍的TPS提升,在SemiAnalysis的InferenceX低延迟基准测试中,MiniMax M3.1-Flash达到1111 TPS,DeepSeek v4.1-Flash达到1205 TPS,创下新纪录,并在Llama 1B批量大小1的基准测试中超越现有开源megakernel 1.7倍。此外,TKCC可推广到语言模型推理以外的领域(天气建模、PDE、时间序列和生物学)。这种性能提升得益于TKCC相比基线智能体性能优化系统的252倍实验吞吐量提升。Together Compiler目前每天处理数万亿个token。
流量持续变化
作为推理服务提供商,我们观察到基于区域模式、新模型发布和突发性等多种用户行为。
- 区域模式:全球不同地区的用户可能有不同模型偏好。我们观察到一个国家工作时间的提示长度是另一个国家的1.4倍(97k vs 70k)。
- 模型发布:用户需要时间将新模型集成到其工作流程中。首先,他们倾向于选择基于聊天的交互和评估。发布后两周内,提示长度会迅速增加80%,因为用户转向智能体工作负载。
- 突发性:客户可能在一天中的随机时间发送请求突发。如果处理不当,提示长度可能突然翻倍,缓存命中率可能下降。
显然,我们必须针对每个新部署采用专门的优化措施,以适应不断变化的用户行为。
Together Compiler概述
TKCC的输入包括流量模式、模型和硬件。TKCC使用智能体为推理引擎生成一系列优化。
图1:Together Compiler通过智能体、持久引擎和集成在循环中,随着流量漂移进行重新编译。
TKCC的核心见解如下:
- TKCC 在智能体优化过程中最大化实验吞吐量并最小化 GPU 空闲时间
现有智能体推理优化系统通常要求智能体为每个新实验启动和销毁 VLLM、SGLang 或 TRT-LLM 等引擎。然而,引擎启动时间长达数十分钟,显著阻碍了实验吞吐量(见下表)。TKCC 提出了一种新的"持久化引擎"范式:引擎只需启动一次,即可通过热加载实现任意候选前向传播的快速替换,无需重启。为确保持久化引擎持续有新优化方案可测试,TKCC 会创建多个智能体,通过消息板持续生成想法并并行协作。
Phase
现状(秒)
TKCC(秒)
进程+工作节点初始化
93
–
权重加载
50
KV缓存尺寸调整
21
JIT内核预热
自动调优
193
API服务器就绪
10
RPC调用+TKCC初始化
1.7
CUDA图捕获
7
7.3
总服务准备时间
467
9.0
表1:引擎启动成本高昂
- TKCC 平衡测量吞吐量与测量保真度之间的权衡
现有智能体优化系统要么通过反复重启推理引擎进行迭代,导致实验吞吐量低下;要么在推理引擎之外独立优化独立内核,导致测量保真度不足。独立内核优化系统通常使用随机输入数据进行评估。然而,现代架构使用 MoE 和稀疏-k 注意力等数据依赖型原语时,输入数据分布会直接影响哪些优化策略更优(见下图)。高保真输入对有效优化至关重要。TKCC 采用分层持久化引擎架构平衡吞吐量-保真度权衡:"快速引擎"加载少量层,适合快速迭代和低方差时延测试;"较慢引擎"加载多层,适合验证优化方案在真实数据分布下的有效性。
图2:输入数据影响优化策略选择
图3:TKCC 分层架构优于其他方案
- TKCC 采用定制成本模型为智能体选择并行策略(如TP、EP、DCP等)以实现最佳性能
现有系统在SLA约束下有复杂的方法选择推理配置。然而,选择最佳配置面临同样的吞吐量-保真度权衡:难以测量每个并行配置,特别是软件实现尚不成熟时。简单方法是根据原始硬件规格或微基准测试选择并行策略。然而,这种方法无法充分捕捉MoE专家不平衡或提示长度分布不均等数据依赖型流量特性。我们设计了结合硬件规格、微基准测试和实际前向传播测量的分层测量策略,构建高保真表示的同时快速裁剪配置搜索空间,支持持续流量变化。
图4:实测布局优于硬件规格推荐,最佳布局随并发量变化而调整
实验结果
我们评估 TKCC 与三种不同类型的基线进行对比:人工调优的超内核(megakernel)、InferenceX 引擎配置,以及来自天气建模、偏微分方程(PDE)、时间序列和生物学模型等不同领域的流行 AI 代码库。
超内核工作负载
我们首先评估经典的超内核工作负载:批量大小为 1 的 Llama 1B 模型。该模型架构已被人类专家和传统机器学习编译器充分优化。TKCC 生成的 TPS 是其 1.7 倍,并且随着序列长度增加仍能保持性能优势。
图 5:Together 编译器在 H100 和 B200 上均优于超内核和 CUDA 图基线
InferenceX AgentX 工作负载
我们在 SemiAnalysis 的 AgentX 基准测试中评估 TKCC。我们从各推理引擎和硬件平台针对前沿模型的最佳开源引擎配置开始。TKCC 在所有设置中始终设定性能前沿,相比高度优化的基线最高实现 2.6 倍的 TPS 提升。
我们特别针对批量大小为 1 的低延迟场景进行评估,在 MiniMax M3.1-Flash 上实现 1111 TPS、在 DeepSeek v4.1-Flash 上实现 1205 TPS,达到当前最优性能。这些结果中我们使用成本模型选择并行配置,而非采用 InferenceX 配置。我们观察到这种方法带来了显著加速。
图 6:在大多数模型上,Together 编译器在相同用户速度下实现更高的 GPU 每秒令牌吞吐量
图 7:在所有六组模型和芯片组合中,Together 编译器的用户速度均优于最佳 InferenceX 配置
跨 AI 工作负载
我们选取了天气建模、偏微分方程(PDE)、时间序列和生物学领域的流行开源代码库。我们展示了 TKCC 相比仅使用 Claude Code 的 /goal 命令的几何平均加速比,证明 TKCC 的原理可跨领域通用。我们一直在将 TKCC 作为通用 AI 编译器使用,而不仅限于大语言模型推理。
图 8:在四组模型中的三组上,Together 编译器的加速效果优于 Claude Code
多态 AI 系统是下一个前沿领域
对 Together AI 而言,最具挑战性的系统问题在于多态推理(Polymorphic Inference)。推理不再局限于为单一硬件平台和模型优化特定流量模式,流量正像金融市场一样持续动态演变,这种动态性带来了大量新的研究问题。
了解更多请阅读我们的论文。
如果这些 AI 系统前沿领域激发了你的兴趣,欢迎随时与我们联系!
1 Trainium2 在 AgentX 上运行时使用了合成多轮数据集(70k ISL,3.5k 新 ISL 95% 缓存,700 OSL),而非我们实现尚未支持在有限 HBM 容量下更高并发度的 AgentX。