NVIDIA AI(@NVIDIAAI)

Congrats @thinkymachines team on Inkling 2 Small! A 594B model pretrained in just 68 hours with NVI...

8.5内容质量
Congrats @thinkymachines team on Inkling 2 Small!

A 594B model pretrained in just 68 hours with NVI...

TL;DR · AI 摘要

Thinking Machines团队利用NVIDIA NVFP4和GB300 NVL72在68小时内训练出594B参数模型,展示了低精度训练的突破。

核心要点

  • 594B参数模型仅用68小时完成训练,使用NVIDIA NVFP4和GB300 NVL72硬件
  • 4-bit forward pass技术从预训练到RL rollout全程应用
  • 量化误差控制是大规模低精度训练的关键挑战

结构提纲

按章节快速跳转。

  1. 展示594B模型68小时训练完成的成果及硬件配置

  2. 低精度训练中量化误差对学习过程的干扰问题

  3. 全程4-bit forward pass技术实现稳定训练

  4. NVIDIA NVFP4与GB300 NVL72的协同优化方案

  5. 从预训练到RL rollout的完整训练流程验证

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 低精度训练大规模模型
    • 技术突破
      • 594B模型68小时训练
    • 核心挑战
      • 量化误差干扰学习
    • 解决方案
      • 4-bit forward pass技术

金句 / Highlights

值得收藏与分享的关键句。

#大模型训练#低精度训练#NVIDIA硬件#AI加速
打开原文

NVIDIA AI on X: "祝贺 @thinkymachines 团队发布 Inkling 2 Small!使用 NVIDIA NVFP4 在 GB300 NVL72 机架上仅用 68 小时就完成了 5940 亿参数模型的预训练。阅读团队如何在如此大规模下实现低精度训练的方案。👇" / X

NVIDIA AI

@NVIDIAAI

$

/$

祝贺

@thinkymachines

团队发布 Inkling 2 Small!使用 NVIDIA NVFP4 在 GB300 NVL72 机架上仅用 68 小时就完成了 5940 亿参数模型的预训练。阅读团队如何在如此大规模下实现低精度训练的方案。👇

Thinking Machines

14小时前

使用更少的比特进行训练速度更快,但量化误差可能会影响学习效果。今天在 Connectionism 上,我们详细介绍了如何从预训练的第一步到最终的 RL 演示,全程使用原生 4 比特前向传播训练 Inkling 2 Small。

thinkingmachines.ai/blog/end-to-en…

2026年11月13日 下午11:20

·

120.2K

浏览量

185

91

1.4K

267