高效推理MiniMax-M3:解锁1M令牌上下文和多模态能力
Together AI优化了MiniMax M3模型的部署,通过架构和工程创新实现81–125%吞吐量提升。
入选理由:MiniMax M3 supports 1M-token context and native multimodality, making it suitable for complex real-world tasks.
公司
别名:together.ai
提供开源模型推理服务的AI公司,提出多态推理概念
已跟踪 30 条高相关材料
最近变化
2026-11-17 · 系统提示中添加时间戳会破坏缓存机制,导致性能下降
为什么值得关注
Together AI 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
Serving MiniMax-M3 for efficient inference: Unlocking 1M-Token Context and Multimodality Without Regrets
Together AI Blog · 8.7 分
Together AI has optimized the deployment of MiniMax M3, a model with 1M-token context and multimodal support, achieving 81–125% throughput...
what we learned to keep coding agents fast in Claude Code, Codex, Pi, and more: – a single timesta...
ollama(@ollama) · 8.5 分
系统提示中的时间戳和推理努力变化会影响缓存,优化提示可提升代码代理性能。
How we make Together AI easy for coding agents to use
Together AI Blog · 8.5 分
Together AI 通过运行代理评估来优化平台对编码代理的易用性,发现并解决了多个关键问题,提升了开发者体验。
已收录 30 条与 Together AI 相关的内容,按评分排序。
Together AI优化了MiniMax M3模型的部署,通过架构和工程创新实现81–125%吞吐量提升。
入选理由:MiniMax M3 supports 1M-token context and native multimodality, making it suitable for complex real-world tasks.
系统提示中的时间戳和推理努力变化会影响缓存,优化提示可提升代码代理性能。
入选理由:系统提示中添加时间戳会破坏缓存机制,导致性能下降
Together AI 通过运行代理评估来优化平台对编码代理的易用性,发现并解决了多个关键问题,提升了开发者体验。
入选理由:Together AI 通过代理评估发现平台对代理的易用性存在障碍。
长周期智能体工作负载需要优化模型推理效率,Together AI 和 Ollama 提出通过前缀缓存减少重复计算。
入选理由:智能体每次请求都需发送完整对话历史,导致推理效率下降。
Together AI 通过删除 megakernels 并采用新方法,实现了接近甚至超越原有性能的推理优化框架 Together Compiler。
入选理由:使用 CUDA Graphs 和 PDL 可恢复 98% 的 megakernel 性能,无需编写任何内核。
多态推理通过动态适应模型架构和硬件变化,解决开源模型爆炸式增长带来的部署挑战,Together AI提出持续编译技术实现自动优化。
入选理由:80%的OpenRouter流量来自近三个月发布的模型,凸显模型迭代速度挑战
Together Compiler(TKCC)通过持续编译优化AI推理,实现2.6倍TPS提升,适用于多模型、多硬件场景。
入选理由:TKCC在24小时内实现2.6倍TPS提升,覆盖Kimi K3等主流模型
Together AI推出GPU集群自动修复系统,通过被动健康检查和智能决策实现故障节点快速恢复。
入选理由:自动修复系统包含被动健康检查、修复建议和策略配置
Together AI推出Post-Training服务,提供灵活高效的自定义模型训练,无需重基础设施负担。
入选理由:支持LoRA训练和全权重实验,提升模型灵活性
Meta Muse Spark Open模型在Together AI上线,支持1M-token上下文和多模态输入,适用于复杂代码重构场景。
入选理由:Muse Spark Open具备1M-token上下文窗口,可处理完整项目代码库
Together AI联合IBM和NVIDIA构建全球最大规模NVIDIA B300 GPU推理集群,实现企业级AI推理能力突破。
入选理由:NVIDIA B300 GPU集群首次部署于IBM Cloud,支持万亿级token月处理量
开源AI堆栈包含模型、推理、网关、Harness和工具五层,开发者可灵活切换模型并优化成本与性能。
入选理由:MIGHT堆栈各层独立,允许快速替换模型以适应不同任务需求。
Together AI推出预占式计算,以一半价格提供相同GPU资源,适用于中断容忍型任务。
入选理由:预占式节点按50%按需价格计费且支持亚小时计费
Together AI 扩展微调服务,新增 15+ 模型支持,提供实时指标跟踪与精细控制,降低大模型训练门槛。
入选理由:GLM-5.3 在 Terminal-Bench 2.1 评分 88.2,接近顶级闭源模型性能
GLM-5.3在DeepSWE基准测试中成本仅为Claude Fable 5的1/5,且在多尝试指标上表现更优。
入选理由:GLM-5.3每任务成本为$3.99,Claude Fable 5为$21.63,成本差距达5.4倍。
GLM-5.3在多次尝试下表现优于GPT-5.6 Sol,且成本更低,但单次尝试中GPT-5.6 Sol稍胜一筹。组合使用可覆盖106/113任务,性价比达85.9%。
入选理由:GLM-5.3单次尝试成本3.99美元,解决率69.0%,GPT-5.6 Sol成本8.37美元,解决率72.7%
GLM-5.3 Flash以1/17成本解决15倍任务,首次尝试性能落后5.6%但多次重试后差距缩小至2.6%。
入选理由:GLM-5.3 Flash成本为GLM-5.3的1/17,但每100美元解决任务数是其15倍。
DeepSeek-V4 Flash 0731成本仅为GPT-5.6 Luna的1/6,但组合使用时在准确率和成本上均优于单独使用Luna。
入选理由:GPT-5.6 Luna单次任务准确率67.2%,DeepSeek-V4 Flash为53.3%,但后者成本仅0.10美元/任务。
Together AI平台提供端点级A/B测试方案,通过动态流量分配验证LLM模型效果,避免传统方法的基础设施耦合问题。
入选理由:Together AI平台在端点层实现A/B测试,无需修改客户端代码
组合使用DeepSeek V4 Pro 0813和Claude Fable 5可解决82.7%的DeepSWE任务,成本仅8.28美元,比单独使用Claude节省62%费用。
入选理由:DeepSeek V4 Pro 0813首次尝试解决62.8%任务,成本仅0.24美元/次
DeepSeek V4 Pro 0813成本仅为GPT-5.6 Sol的1/35,但多次尝试后表现更优,适合预算有限且允许重试的任务。
入选理由:DeepSeek V4 Pro 0813每轮成本0.24美元,GPT-5.6 Sol为8.37美元,价格差距达35倍。
ThunderAgent通过优化KV缓存管理,实现单节点吞吐量提升2倍,集群加速2.4倍,解决代理推理中的缓存抖动问题。
入选理由:单节点吞吐量提升2.5倍,P50延迟降低10倍
Together AI平台通过端点/部署/配置三元组与容量感知路由实现模型推理配置,支持零停机变更和流量实验。
入选理由:配置由端点(固定身份)、部署(模型+硬件组合)、配置(运行配方)三部分构成
Together AI与Moonshot AI合作推出2.8T参数开源模型Kimi K3,支持长上下文和视觉任务,开发者可直接通过其平台部署和微调。
入选理由:Kimi K3是当前参数规模最大的开源模型(2.8T),支持1M token上下文窗口。
Together AI平台通过自适应扩展端点,结合LLM推理特有的指标(如TTFT、GPU利用率),实现更高效的资源管理,减少过量和不足配置的成本。
入选理由:选择TTFT和GPU利用率作为指标可有效平衡资源成本
Kimi K3是首个2.8万亿参数开源模型,支持1M上下文和高效推理,适用于复杂编程与知识工作。
入选理由:Kimi K3参数量达2.8万亿,是首个3万亿参数级开源模型
Kimi K3在DeepSWE基准测试中以1/3成本超越Claude Fable 5,多次尝试后性能反超,但后者可靠性更高。
入选理由:Kimi K3单次任务成本仅4.65美元,为Claude Fable 5的1/3
不同可靠性级别(99%、99.9%、99.99%)对应不同的故障域和架构要求,如99%需处理节点级故障,99.9%需跨数据中心部署,99.99%需多区域冗余。
入选理由:99%可靠性需处理GPU硬件故障,依赖自动化健康检查和快速替换
YC初创公司可通过专用GPU集群快速获取计算资源,无需长期合约。Together AI与YC合作解决AI公司算力瓶颈问题。
入选理由:YC初创公司可按需使用GPU,无需签订两年期合同
Together AI推出的新推理平台使用户能高效部署和管理开放权重模型,兼顾控制、成本与性能。
入选理由:开放权重模型成本仅为封闭模型的几分之一,但质量相当。