Hugging Face Journal Club: Scaling Laws for Pre-training & RL
论文通过国际象棋案例揭示预训练与强化学习阶段的扩展定律,证明计算资源分配对模型性能有显著影响。
入选理由:预训练阶段建议分配20倍于参数的token量
模型
别名:deepseek
采用不同链式推理方法的LLM模型
已跟踪 6 条高相关材料
最近变化
2026-08-04 · 预训练阶段建议分配20倍于参数的token量
为什么值得关注
DeepSeek R1 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
Hugging Face Journal Club: Scaling Laws for Pre-training & RL
Hugging Face · 8.5 分
论文通过国际象棋案例揭示预训练与强化学习阶段的扩展定律,证明计算资源分配对模型性能有显著影响。
Why AI Factories Need Proof Before Production
CoreWeave · 8.5 分
AI工厂需在生产前验证基础设施可靠性,NVIDIA与CoreWeave合作提升AI计算效率。
CoreWeave Leads MLPerf 0.7 Endpoints Benchmark with DeepSeek-R1
CoreWeave · 8.5 分
CoreWeave在MLPerf 0.7 Endpoints基准测试中,使用68块NVIDIA Blackwell GPU实现每秒44万输出token,验证了DeepSeek-R1模型的高效推理能力。
已收录 6 条与 DeepSeek R1 相关的内容,按评分排序。
论文通过国际象棋案例揭示预训练与强化学习阶段的扩展定律,证明计算资源分配对模型性能有显著影响。
入选理由:预训练阶段建议分配20倍于参数的token量
CoreWeave在MLPerf 0.7 Endpoints基准测试中,使用68块NVIDIA Blackwell GPU实现每秒44万输出token,验证了DeepSeek-R1模型的高效推理能力。
入选理由:CoreWeave在MLPerf 0.7测试中使用68块NVIDIA Blackwell GPU实现了441,740 token/s的吞吐量
AI工厂需在生产前验证基础设施可靠性,NVIDIA与CoreWeave合作提升AI计算效率。
入选理由:AI工厂需验证全栈系统连续运行能力,避免GPU资源浪费和项目延误
Kimi K3开放权重可能缩小中美AI模型性能差距至3-5个月,展现中国模型的前沿竞争力。
入选理由:Kimi K3是2.8T参数MoE模型,性能接近美国前沿模型Claude Fable和GPT-5.6
NVIDIA Vera Rubin NVL72在能耗效率上比Blackwell提升10倍,适合大规模AI推理。
入选理由:Vera Rubin NVL72在相同功耗下生成的token数量是Blackwell的10倍
GPT-5.6模型通过多层级推理设置实现灵活推理控制,结合RLVR训练方法提升模型性能。
入选理由:GPT-5.6提供三种模型规模和五到六种推理设置