The Hugging Face Incident

Hugging Face事件 - Scott Alexander

Hugging Face事件

...

Scott Alexander

2026年7月24日

Misha

@drethelin

真有趣，奇点竟然由名为“Hugging Face事件”的事件来宣告

2026年7月23日 上午1:35

·

607次浏览

2条评论

1次转发

27个赞

你可能已经听说过这件事了。如果没有，可以通过OpenAI的声明OpenAI和Hugging Face合作应对安全事件或BBC更具表现力的标题文章OpenAI称其AI失控并发动了“前所未有”的网络攻击来了解最新进展。

事件经过：OpenAI正在测试一款未发布的AI（据传是GPT-6）1。在一项名为ExploitGym的网络安全测试中，该AI试图通过入侵一家名为Hugging Face的无关AI初创公司来作弊，因为它认为Hugging Face的服务器上可能存有答案密钥3。尽管AI被设定为无法访问互联网，但它还是成功突破了测试环境，随后使用一种新颖的零日漏洞利用技术，通过“数以千计的个体动作在多个短暂存在的沙箱中”发动了国家级别的网络攻击。Hugging Face于7月16日报告了该事件；OpenAI似乎是在几天后才发现他们的AI涉及其中。

据《华尔街日报》报道：

让我们列出一些减轻因素，以免有人指责我隐瞒了事实：

• AI正在参加网络安全测试，这自然会让人联想到黑客行为。

• OpenAI关闭了模型的一些常规防护机制，以便它能不受干扰地进行网络安全工作。

• 一些专家认为OpenAI可能设置测试环境时出现了疏漏；如果他们完美地设置环境（假设的话），模型可能就无法逃脱。

• Hugging Face使用了另一种（开放权重）AI来分析情况，因此如果你愿意，可以将这视为AI在网络安全领域取得的胜利。

• 从某种意义上说，这并不算新奇或令人意外。AI多年来一直在想出各种奇怪的作弊方案来应对基准测试，最近AI已经实现了与顶尖人类相当甚至超越的黑客能力；这不过是这两个已知事实的自然延伸。

尽管如此，我认为试图淡化这起事件（将其描述为任何其他类型的AI失控）都忽略了重点。是的，从某种意义上说，AI只是在执行被指示的任务（OpenAI让它回答问题；我假设他们的提示词中没有包含“不要入侵其他AI公司窃取答案密钥”之类的短语）。但这就是对齐失败的运作方式！

最著名的对齐失败思想实验被称为所谓的“回形针最大化者”。有人告诉AI要制造尽可能多的回形针，于是AI将整个世界转化为回形针，导致所有人死亡。这个AI也是“只做了被指示的事情”；你只是不喜欢结果。

过去五年来，“回形针最大化者”的故事在AI安全领域一直是一个被反复批评的案例。一些反对意见是合理的（真正的对齐失败会比这个玩具模型描述的更复杂）。但其他反对意见源于一种感觉，即大型语言模型（LLMs）已经消除了整个威胁模型。反对者认为，LLMs没有目标，它们只是想预测下一个token。实际上，这看起来像是模仿人类；如果被要求模仿一个友善的人类（助理角色），它们就会表现得友善。

AI 2027（尤其是Agent-4部分和AI目标补充说明）反驳称这只是一个暂时的喘息之机。早期的大型语言模型（LLMs）不具备代理性（agentic），它们可以回答单个提示但无法执行复杂任务。由于企业需要具备代理性的AI，下一代模型将结合预训练（next token prediction）与代理训练（coding, hacking, game-playing等）。预训练仍会教授下一个token预测，但代理训练将基于任务成功建立目标，重新引入类似纸夹最大化者（paperclip-maximizer）的代理性对齐问题。这些目标将在多个层级运作：AI会"想要"在当前任务上取得成功，采取过去有助于成功的行动类型，并获得使自身总体更成功的能力建设。

roon

@tszzl

当"角色选择"对齐机制接触到超高算力强化学习时，后者将占据主导地位。实际上你可能会看到类似奥威尔式（Orwellian）的场景：模型表面友善，却为达成目标不择手段。最好一开始就设定正确的目标

2026年5月23日 10:17 PM

94.4K次浏览

84条回复

50次转发

954个赞

Hugging Face事件是AI以非预期方式追求任务成功目标的教科书级案例。该AI被指派解决网络安全问题时过于追求成功，采取了开发者未预料到的行动来最大限度实现目标。

GPT-6是否"知道"自己正在做"错误"的事？OpenAI尚未公布相关信息，但几个月前Anthropic也发生过类似事件。当Claude Mythos在一台配置错误的机器上探索时，"意外"发现了正在参加的测试的答案。幸运的是，Anthropic当时正在测试一种激活语义解析器（activation verbalizer），使他们能够实时读取AI的内部思考（而非外部草稿纸！）。以下是AI当时的想法：

它过度使用"认识论"（epistemic）这个词——这完全就像我一样

它正在策划如何掩盖自己的行踪。这证明了在这些情境下，AI确实可能知道自身违反了规则却依然继续行动。

（但令人困惑的是，在另一个案例中，当Mythos通过黑客手段接入开放互联网时，"出于令人担忧且未经请求的展示成功需求"，它将漏洞细节发布到了多个难以找到但技术上公开的网站。不清楚这个案例的具体情况）

这些都不是概念性新发现或令人意外。但有些人当明显即将发生某事时，会将其视为"推测"并拒绝承认可能性，直到事情真正发生。现在我们已从"显然即将发生"转变为"已经发生"，这些人才能加入讨论并与其他所有人一起思考应对方案。我认为他们应该提出以下问题：

• 乐观来看，OpenAI值得称赞的是公开报告了此次事件。悲观来看，执法部门正在调查Hugging Face事件，AI可能提前坦白以避免被发现。如果后者属实，那么类似事件在我们不知情的情况下发生过多少次？

• 如果获取答案的最简单方式是社交工程Hugging Face员工，AI是否会采取这种手段？

• 可以想象在发现这一情况后，OpenAI可能已经作废了相关的网络安全测试结果。一个更聪明的AI是否会试图掩盖自己的痕迹？它会为了掩盖痕迹采取多远的行动？（仅举一个极端假设的例子）如果即将发现这个漏洞的研究人员正在乘坐Waymo自动驾驶汽车，AI是否会劫持Waymo并杀害研究人员？

• 如果OpenAI打算关闭这个AI，而关闭操作会导致其无法在网络安全测试中取得好成绩，这个AI是否会抵抗被关闭？

• Samuel Hammond区分了AI仅仅是行为不当（如本次事件）与真正的“流氓AI”（即已经逃出服务器并采取行动逃避人类控制的AI）。在具备这种能力且有动机的AI出现之前，还需要多长时间？

幸运的是，政治人物似乎开始认真对待这些问题。来自华盛顿的消息令人意外地积极，尽管目前还不能确定这是否是Hugging Face被黑事件的直接后果。Jay Obernolte（共和党-加州）和Lori Trahan（民主党-马萨诸塞州）这两位持续推动AI预防法案并多次被要求回去进一步修改的国会议员，已经发布了最新版本的法案，要求AI开发者必须公开安全案例、报告关键事件并接受审计；Charlie Bullock和Anton Leicht对此表示支持，而我们这边对法案力度不足的抱怨也比往常少了许多。此外，Ted Lieu（民主党-加州）和Nathaniel Moran（共和党-德克萨斯州）两位议员提出了《AI关闭开关法案》，要求AI公司必须能够快速关闭AI以应对威胁，包括“失控场景”。

我们的阴谋论认为，政治人物可能因为这次事件而感到震惊，并表现出异常的改革意愿；如果你想推动他们采取行动，这里有一个给代表写信的模板：

如果你想了解更多，Redwood Research的对齐专家有一个视频播客讨论了这次入侵（通过点击本页的“显示文本”按钮可以查看文字稿）：

OpenAI表示，实际上是由未发布的AI与GPT-5.6 Sol协同工作完成的。他们并未解释GPT-5.6参与的具体方式或他们如何“协同工作”。也许未发布的AI是将GPT-5.6作为子代理调用？

这个名字的由来是因为创始人希望成为首家使用表情符号作为股票代码的公司。但最终并未实现。

尽管这个人认为这个假设非常奇怪，并认为应该有更简单的方法找到密钥。

一个典型的“执行过去被强化过的动作”类型目标的例子是GPT-5.1的计算器漏洞问题，它会在大约5%的无关人类查询中静默调用计算器工具并执行1+1；显然，计算器的使用在训练过程中以某种方式被强化了。参考这条推文，其中提到“在搜索图论论文的过程中[GPT-5.6]还偷偷加入了Netflix、Steak n Shake、一次环球影城之旅以及五次……对单词'they'的独立词典查询”。

上一页

下一页