What I’ve been building: ATOM Report, post-training course, finishing my book, and ongoing research
TL;DR · AI 摘要
The ATOM Report provides detailed analysis of open language models, including a new Relative Adoption Metric (RAM).
核心要点
- ATOM Report measures open language model ecosystem with RAM.
- Gemma 4 shows early adoption with high RAM scores.
- Book on RLHF is ready for pre-order.
结构提纲
按章节快速跳转。
Summary of recent efforts not warranting a standalone post.
Detailed analysis of open language models using RAM.
Early adoption of Gemma 4 analyzed using RAM.
Development of a post-training course alongside the book.
RLHF book ready for pre-order with content edits completed.
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- ATOM Report and RLHF Book
金句 / Highlights
值得收藏与分享的关键句。
The ATOM Report is dense with the methods Florian and I use to keep track of the open ecosystem.
The RAM score is designed so that a score >1 indicates a model is, at that point in time, on track to be a top 10 most downloaded model of its size category, ever.
You can preorder on Amazon or Manning (currently cheaper).
标题：我最近在做的事情：ATOM报告、培训课程、完成我的书籍以及研究
来源网址：https://www.interconnects.ai/p/what-ive-been-building-atom-report
发布时间：2026-04-14T20:41:12+00:00
Markdown 内容：
这篇文章总结了我最近的一些努力，这些努力没有达到单独发布一篇Interconnects文章的标准，解释了我为什么花时间在这些事情上，以及它们取得了什么成果。
https://arxiv.org/abs/2604.07190
为了配合《ATOM项目》备忘录（可以说是一份宣言），该备忘录提出了在美国投资开放模型的理由——最初于2025年8月启动——我们发布了更新的技术报告，其中包含了我们最新的数据、分析和故事叙述。ATOM报告详细记录了Florian和我用来追踪开放生态系统的方法。它涵盖了GPT-OSS的崛起、推理市场份额、中国中端玩家如Moonshot、Z.ai和MiniMax的影响，以及美国在开放模型方面取得的进展等。
特别地，这份论文详细介绍了我们对相对采用指标（RAM）的更新，我们用它来以时间变化和规模标准化的方式评估近期模型的采用情况。以下是最近主要来自中国的模型在RAM得分上的表现。RAM得分的设计使得得分>1表示该模型在某个时间点上有望成为其规模类别中最受欢迎的前10个模型之一。它将复杂的局面简化为一个易于理解的数字！
我们还使用这些数据来分析最近发布的Gemma 4，该模型显示出了惊人的早期采用率。我们将继续关注它！
订阅（不定期）ATOM项目Substack以获取更多此类更新！
这本书的目标是写一本我希望在我开始从事后训练语言模型时拥有的书。这个项目已经在我脑海中酝酿了很久。我在2024年5月20日购买了域名rlhfbook.com，并开始认真对待它。现在我们做到了！
上周，这本书已交由Manning团队进行生产。这意味着内容编辑已完成，大约两个月后将进入印刷阶段。在此期间，我正在开发配套的代码和课程（详情见下文）。
这本书的目标是成为那些希望从初学者过渡到专家的人们的中心资源。这不一定是一本入门级书籍，但随着AI模型变得越来越强大，它也需要成为一个社区建设的努力。我迈出的第一步是从仅仅一本书扩展到一个完整的学习体验，即构建一系列讲座。这些讲座将在YouTube上免费提供，并包含社区问题与答案（作为讲座之间的独立视频）。
您可以观看下面的第一批视频，并在YouTube上订阅以获取未来的视频。今年夏天，我将继续在书籍平台上发展，因为我正在开发书籍代码库并举办线下活动。
长期关注《互连》博客的读者都知道，这个博客起源于解释该领域的基础研究。这在两个方面具有巨大的价值。首先，随着 AI 发展迅速，需要更多的人能够解析研究，从而对技术做出正确的选择。研究是预测重大变化的唯一早期预警。其次，它有助于提升我的合作者的职业生涯——那些我一生中与之共事的人！说到这里，请查看下面我有幸参与的两篇论文。
https://arxiv.org/abs/2603.16759 - _TurnWise: 单轮和多轮语言模型能力之间的差距_, Graf 等人，2026年
这项工作探讨了各种模型在多轮对话设置中的优势，如何创建训练数据以改进它，以及后训练中的其他特性。我在这里的兴趣已经完全转向了代理，我认为多轮交互是一个非常重要的用户界面问题——为了尽快解决问题而不走捷径，我应该向用户展示哪些信息？
https://arxiv.org/abs/2603.11327 - _带有自我反思的元强化学习用于代理搜索_, Xiao 等人，2026年
这篇论文将使用 RLVR 解决难题视为一个元学习问题，在此过程中应利用先前尝试的上下文来指导未来的展开。从某种角度来看，这是一个非常显而易见的想法，因为目前大多数针对 LLM 的 RL 仍然是基于策略的，但很原始。模型从最近的试验中学习参数，但不学习上下文。这项研究还融入了许多关于如何将 RL 形式化以解决不同形式的持续学习的最新工作。另一篇相关的优秀论文是 _测试时发现学习_。
接下来的几个月里，我将前往中国（然后希望是华盛顿特区），以了解世界如何看待 AI 进步。我很兴奋能与比我通常在专注的技术工作中接触更广泛的人群交谈。一如既往，感谢您的阅读！