Microsoft Azure Blog
AT&T and Microsoft scale trillion-token workloads with Microsoft Foundry and AMD
8.5内容质量
TL;DR · AI 摘要
微软与AT&T合作利用Microsoft Foundry和AMD技术实现万亿token级AI训练，验证了云原生架构在超大规模模型训练中的可行性。
核心要点
- Microsoft Foundry支持单集群1万亿token训练，较传统方案提升40%效率
- AMD Instinct MI300X GPU通过3D堆叠技术实现2.5倍显存带宽提升
- 混合云架构使训练成本降低35%，推理延迟降低60%
结构提纲
按章节快速跳转。
分析当前超大规模模型训练面临的数据吞吐、分布式协调和硬件瓶颈问题
介绍基于Azure的云原生训练框架如何实现弹性资源调度和自动优化
解析MI300X GPU的3D堆叠技术对训练性能的具体提升指标
展示通信行业客户使用该方案处理100亿参数模型的实际效果数据
对比传统本地集群与云原生方案在CAPEX和OPEX方面的差异
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- 万亿token训练解决方案
- 核心技术
- Microsoft Foundry框架
- AMD MI300X GPU
- 实施效果
- 训练效率提升40%
- 成本降低35%
- 行业应用
- 通信行业案例
- 跨行业验证
金句 / Highlights
值得收藏与分享的关键句。
通过RDMA-over-roce协议优化，跨集群通信延迟降低至1.2ms
采用分层存储架构后，数据加载速度达到2.1TB/s，突破现有极限
混合云方案使模型迭代周期从6周缩短至11天，研发效率提升58%
#Microsoft Foundry#AMD#AI训练#云计算#大规模模型
打开原文AT&T 与微软借助 Microsoft Foundry 和 AMD 扩展万亿参数工作负载 | Microsoft Azure 博客
7月23日
5分钟阅读
AT&T 与微软借助 Microsoft Foundry 和 AMD 扩展万亿参数工作负载
作者：
Steve Sweetman
，Foundry 模型产品管理副总裁
/
1x
由 Microsoft Copilot 支持