Together AI Blog

Together AI announces strategic partnership with Moonshot AI to natively serve Kimi models

8.5内容质量

TL;DR · AI 摘要

Together AI与Moonshot AI合作推出2.8T参数开源模型Kimi K3，支持长上下文和视觉任务，开发者可直接通过其平台部署和微调。

核心要点

  • Kimi K3是当前参数规模最大的开源模型（2.8T），支持1M token上下文窗口。
  • KDA和AttnRes技术使模型在长序列推理效率提升2.5倍。
  • Together AI提供SLA保障的推理平台，支持Serverless和专用实例部署。

结构提纲

按章节快速跳转。

  1. §战略合作

    Together AI与Moonshot AI达成合作，推出Kimi K3模型。

  2. ·模型架构

    Kimi K3采用KDA和AttnRes技术，参数达2.8T。

  3. ›性能优化

    优化器改进使模型训练效率提升2.5倍。

  4. ·推理平台

    提供Serverless、Provisioned Throughput等部署方案。

  5. ›生产支持

    支持SLA保障的99%可用性及自动扩展功能。

  6. ·微调能力

    开发者可通过Python SDK进行LoRA训练和微调。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • Kimi K3模型发布
    • 模型特性
      • 2.8T参数/1M token上下文/KDA/AttnRes
    • 部署方案
      • Serverless/Provisioned Throughput/专用实例
    • 开发支持
      • LoRA训练/Python SDK/SLA保障

金句 / Highlights

值得收藏与分享的关键句。

#AI模型#开源#Moonshot AI#Together AI
打开原文

Together AI宣布与Moonshot AI达成战略合作，原生支持Kimi模型

今天，我们宣布与Moonshot AI达成战略合作。作为推动大规模MoE架构开源前沿的领先模型实验室之一，Moonshot AI将通过此次合作，使Together AI成为其模型发布的首发平台，首批上线Kimi K3模型，并持续支持Moonshot未来所有开源权重模型的发布。

对于基于开源模型构建应用的开发者而言，这意味着可通过Together AI位于美国的基础设施、定价体系和工具链，在发布当日即获得Moonshot前沿模型的访问权限，同时确保零数据留存和符合合规要求的模型与数据访问。开发者还可使用自有数据对这些模型进行二次训练，从而为其应用提供更优质的性能表现。

前沿性能，开源权重

Kimi K3是迄今为止发布的最大规模开源模型：一个拥有2.8万亿参数的稀疏专家混合模型，原生支持视觉能力，上下文窗口可达100万tokens。Moonshot围绕两个全新架构组件构建了该模型：

  • Kimi Delta Attention (KDA)：通过改变信息在序列长度维度的流动方式，在长上下文场景中实现显著加速的解码性能。
  • Attention Residuals (AttnRes)：通过改进模型深度维度下表示的检索方式，在几乎不增加计算成本的前提下，显著提升训练效率。

此外还包含一系列优化器改进方案，包括按头计算的Muon优化和基于分位数的专家负载均衡等。Moonshot表示，这些改进使Kimi K3相比Kimi K2实现了约2.5倍的扩展效率提升。最终成果是一款专为长周期编码、智能体工作流、游戏开发和知识密集型任务打造的模型，其基准测试表现已可与当前市场上领先的闭源系统直接竞争。

  • 零日可用性：Kimi K3 已通过 Moonshot 验证，以最高模型质量和性能在 Together AI 上提供服务。未来 Moonshot 发布的新模型也将在 Together AI 上同步上线。
  • 经过验证的扩展能力与生产级基础设施：Together AI 的研究优化推理堆栈专为 K3 这类大型稀疏 MoE 模型进行调优，开发者可获得架构承诺的性能表现，而非通用部署方案。Together 的推理堆栈已为 Cursor、Y Combinator 和 Decagon 等公司提供生产流量服务，可大规模部署代码和智能体工作负载。
  • 一次集成，覆盖 Moonshot 全系列产品：随着 Moonshot 发布新模型，所有模型都将统一归入 Together AI 模型库，通过您当前调用的相同 API 接入。无需新 SDK、无需单独账户、无需每次新 Kimi 模型发布都重新调整应用架构。
  • 零日微调支持：Together 客户可将 Kimi 模型作为基础模型进行微调，并享有 MIT 许可证中所需归属声明的灵活移除权限。
  • 开放权重，自主选择控制方式：由于 Kimi K3 采用开放权重，您既可选择在 Together 上以无服务器方式运行以实现快速迭代，也可根据使用规模扩展至预置吞吐量或专用模型推理，无需绑定单一供应商的发展路线。

参与讨论

想直接与 Moonshot AI 和 Together AI 团队交流吗？欢迎加入 Moonshot AI 团队的 Feihu Tang 以及 Together AI 的 Jue Wang 和 Zain Hasan，共同探讨 Kimi K3 的技术决策、如何在 Together 上实际运行该模型，以及未来发展方向。欢迎提出您的问题。

立即预约并设置提醒，参加 Moonshot x Together 网络研讨会