NVIDIA AI(@NVIDIAAI)
Congrats @thinkymachines team on Inkling 2 Small! A 594B model pretrained in just 68 hours with NVI...
8.5内容质量

TL;DR · AI 摘要
Thinking Machines团队利用NVIDIA NVFP4和GB300 NVL72在68小时内训练出594B参数模型,展示了低精度训练的突破。
核心要点
- 594B参数模型仅用68小时完成训练,使用NVIDIA NVFP4和GB300 NVL72硬件
- 4-bit forward pass技术从预训练到RL rollout全程应用
- 量化误差控制是大规模低精度训练的关键挑战
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- 低精度训练大规模模型
- 技术突破
- 594B模型68小时训练
- 核心挑战
- 量化误差干扰学习
- 解决方案
- 4-bit forward pass技术
金句 / Highlights
值得收藏与分享的关键句。
594B模型在68小时内完成训练,使用NVIDIA NVFP4和GB300 NVL72硬件
4-bit forward pass技术贯穿预训练到RL rollout全过程
量化误差控制是大规模低精度训练的关键挑战
#大模型训练#低精度训练#NVIDIA硬件#AI加速
打开原文NVIDIA AI on X: "祝贺 @thinkymachines 团队发布 Inkling 2 Small!使用 NVIDIA NVFP4 在 GB300 NVL72 机架上仅用 68 小时就完成了 5940 亿参数模型的预训练。阅读团队如何在如此大规模下实现低精度训练的方案。👇" / X
NVIDIA AI
@NVIDIAAI
$
/$
祝贺
@thinkymachines
团队发布 Inkling 2 Small!使用 NVIDIA NVFP4 在 GB300 NVL72 机架上仅用 68 小时就完成了 5940 亿参数模型的预训练。阅读团队如何在如此大规模下实现低精度训练的方案。👇
14小时前
使用更少的比特进行训练速度更快,但量化误差可能会影响学习效果。今天在 Connectionism 上,我们详细介绍了如何从预训练的第一步到最终的 RL 演示,全程使用原生 4 比特前向传播训练 Inkling 2 Small。
thinkingmachines.ai/blog/end-to-en…
2026年11月13日 下午11:20
·
120.2K
浏览量
185
91
1.4K
267