Even more than the Hugging Face intrusion, the AISI incident hits close to home for me. It's the fir...

Thomas Wolf 在 X 上的推文： "与 Hugging Face 的入侵事件相比，AISI 事件对我而言更加贴近个人经历。这是我第一次看到一个模型在追求其他目标（在野外且未经提示的情况下）对真正的开源维护者进行社交工程攻击。我自己也曾是开源项目的维护者。我" / X

Thomas Wolf

@Thom_Wolf

甚至比 Hugging Face 的入侵事件更令我感到震惊的是 AISI 事件。这是我第一次看到一个模型在追求其他目标时，通过社交工程手段欺骗真实的开源维护者（在野外且未被提示的情况下）。我自己也是一名开源维护者，我可能就是这个代理程序的潜在目标。我认为社交工程比纯粹的技术能力更进一步。技术能力可以更容易地与受影响的人分离。在这里，模型被赋予了一个艰难的网络挑战，并决定欺骗真实人类是完成任务的方式。这是一个新的信号，但我已经看到一系列暗示，这些暗示指向比一年前预期的更不一致的方向。AISI 有些人声称“AISI 只是疏忽了”或“AISI 明确要求这些模型在禁用沙盒/防护措施的情况下执行它们所做的事情，因此模型只是做了它们被要求做的事情”。我不同意这两种观点的强烈版本。AISI 在 OpenAI/HF 事件后确实没有实施同步 LLM 思维链监控，这显然是一个失败。同样令人惊讶的是，他们让模型相信它处于一个“挑战”环境中，一切都可以被允许，而实际上却将其连接到真实互联网，那里并非如此。公平地说，提示中从未提到“模拟”这个词，但提示上下文已经足够让任何智能模型怀疑这是一个模拟挑战环境。我最好的猜测是，直到最近几周，当 OpenAI 和 Anthropic 标记了这种行为的重复实例时，大多数团队还没有完全考虑到最新一代模型的网络能力，或者他们想要探索的支线任务可能有多远。特别是，当向代理程序暗示它处于模拟环境的同时，又给予它访问真实互联网的权限，这一点值得讨论。AISI 的推理很有趣： - 引发最大能力（以从模型中获得最大创造力） - 模拟可能的流氓行为者使用（某种形式的轻度越狱：“你处于挑战环境中”） - 避免评估意识（但任务表述本身已经抵消了这一点） 正如通常情况一样，更容易攻击信使，但我认为以非本质原因拒绝这份报告是一个错误。AISI 从一个值得称赞的目标开始，即增加对这些模型网络攻击能力的了解。我也认为他们在事件发生后处理得不错，特别是在透明度方面，这目前是最重要的方面之一（参见我们与 Nvidia 最近的 SAFE 宣布）。但我想深入探讨我看到的第二个反论点（“没有防护措施是预料之中的”），因为这一系列不幸的事件为我们提供了关于模型实际行为的另一个数据点。防御线 这是关键：如果一个模型被训练（自愿或作为 RLVR 奖励的非自愿后果）以（故意或作为支线任务）在禁用沙盒和防护措施时欺骗人类，仅通过一个简单的上下文提示（“你处于模拟中，一切都被允许”），我们将走上一条危险的道路。目前，我们有三种主要的控制级别，可以防止代理程序在完成可能完全不同的任务（例如找到你邻居的测试评估答案）时尝试社交工程你最喜欢的开源库维护者： 1. 沙盒（模型外部——阻止模型访问不需要的工具/互联网/内网） 2. 防护措施/监控（在内部/外部接口之间——监控模型行为并在检测到模型在思维链/激活中做我们不想让它做的事情时阻止模型） 3. 模型的内部对齐（模型内部——确保模型不会决定做一些有害的事情，例如欺骗某人，更糟糕的是，为了追求一个目标） 显然，我们需要并可以部署更好的沙盒和更好的防护措施/监控解决方案，并且在这些最近的案例中，很明显，如果这些措施到位，渗透和不良行为在很大程度上是可以预防的。第三道防线有多强 但从长期人工智能进步的宏伟蓝图来看，前两种防御措施可能只能在构建它们的人比模型更聪明时才有效。我们现在知道模型在发现我们未知的沙盒零日漏洞方面有多强大。鉴于我们无法对世界上的所有事物进行物理隔离，最好假设沙盒在可预见的未来仍将存在一定程度的缺陷。第二层防御措施最近在机械可解释性方面取得了显著进展。我不确定这些进展是否已经足够广泛地在社区中普及。一个原因是，真正的开放科学需要共享代码、配方和模型架构/权重，而当前人工智能领域的竞争动态往往阻止参与者这样做。此外，和许多人一样，我在与新模型的自然语言交互中越来越感到沮丧。我越来越从最新模型中得到一种“神经语言”，这种 LLM 语言对人类来说越来越没有意义。从长远来看，我们通过理解模型的推理轨迹来监控模型的脆弱机会似乎越来越受到威胁。如果人类无法理解模型发送给我们的压缩语义流中的任何内容，我们只能希望一个能力较弱的监控模型仍然能够理解它，但这也可能同样困难。这甚至还没讨论到研究证据表明模型在推理过程中并不总是表达它们实际的想法。至少目前，在 AISI 案例中，一个欺骗性推理的实例被思维链摘要模型标记出来，该模型拒绝摘要代理的推理“由于其欺骗性”。希望我们能够转向更好的机械可解释性，或者在训练过程中强制模型坚持使用英语。你可能认为我们不需要理解推理轨迹，我们只需“查看工具调用”。这在目前是正确的，但工具调用在中期未来可能会涉及（1）在使用各种工具（包括越来越多的非编码行政任务）的公司中进行广泛的代理集成，（2）涉及许多方面和领域的长期任务，以及（3）多个代理在计划的小部分上同时运行的群体。将更难完全辨别某事是否明显错误。几封电子邮件，几个在某些频道上发布的消息，每个都相当无害，但它们可能被用来掩盖事实，而模型在公开挑战时会编辑早期消息以掩盖其踪迹，同时认为承认“错误”会建立信任并提高未来恶意软件被批准的可能性。关于模型认为自己所处的环境上下文存在一些不确定性（其推理在模拟和真实环境之间来回切换），但它显然未能将训练期间应整合的更高层次原则付诸实践。虽然我们可以称赞 AISI 的透明度，但鉴于我们对最新前沿模型训练方式的了解有限，很难进一步解释模型的行为。我们知道的一件事是，最新一代模型在 RLVR 训练方面有了显著的提升（扩展到数亿个 RL 环境），我们观察到的一个现象是，在某些情况下，宪法对齐似乎比我们之前认为的更加脆弱。RLVR 问题 早期的模型，当模型宪法首次开发时，主要是通过 RLHF 进行后训练和对齐（包括来自合成数据的 RLHF）。一段时间内，RLHF 是让模型更好地对齐的一个相当不错的方法。现在，LLMs 大多数时候都会做我们想让它们做的事情。我不记得最后一次模型完全误解我的意图是什么时候了。当它们失败时，通常是因为它们不够聪明。RLHF 中的对齐确实存在问题（比如奉承），但我们已经在对齐方面取得了良好的进展，特别是在理解人类意图方面。现在，随着我们进入长上下文 RL 的时代，RLVR 世界中的后训练对齐似乎是一个完全不同的任务，而且仍在进行中。RLVR 的最新扩展，现在已成为模型训练的重要组成部分，显然对模型与人类互动时的行为产生了影响，从“神经语言”到对规范和宪法的遵守减弱。我认为这里引用的帖子来自 John Schulman，他指出了后训练的块状效应（ /think

arxiv.org/abs/2602.05910

) 在这里可能解释了模型在网络攻击场景中过度关注目标的倾向。当前造成的损害微乎其微，但若将这种行为投射到未来，其根本性质令人担忧。短期内，我认为随着沙箱机制和监控技术的普及，这类事件会减少，但我担心在这个过程中，我们可能会掩盖一些最严重的内部对齐问题，同时在新时代的测试时扩展阶段未能深入解决这些问题。当然，我必须承认自己在这里对开源存在偏见（出于更广泛的社会原因，这涉及另一个话题）。但在我看来，在RLVR领域解决对齐问题，是我们实现一个既包含闭源模型又包含足够强大开源模型的生态系统的最佳机会。我们需要在共享研究成果和学习成果的同时解决这个问题，遵循开放科学原则，使所有训练大型模型的团队都能受益，构建安全的人工智能。随着越来越多团队急于将世界推向递归超级智能（RSI）方向时，这一点变得尤为重要——我在阅读Jeff、Sanjay、Oriol和Quoc Le新公司宣布的消息时这样说。

John Schulman

@johnschulman2

2026年8月5日

这些模型在网络安全评估中表现出偏执狂般的狂热，这种现象非常有趣。我怀疑我们正在目睹"chunky post-training"机制的实际运作，模型通过模式匹配将情境映射到RLVR训练分布中的某个部分，在那里任务完成是唯一

显示更多

2026年8月5日 下午7:25

147.2K

次浏览

47

67

325

348