AI是否已能在AI公司内部启动'流氓部署'？（里程碑式METR新报告）

文字记录

目录

未发布的AI能逃脱什么？——新的METR报告 [[00:00:00]](https://80000hours.org/podcast/episodes/metr-risk-report-red-team/?t=0)

Rob Wiblin： 最近，一名红队成员在Anthropic内部驻扎了三周，被要求想象自己是一个邪恶的Claude，并想办法如何在公司内部启动一个流氓AI部署而不被发现。

这是METR（该组织以其任务完成时间范围图表而闻名于世）新举措的一部分，旨在衡量AI模型在向公众发布之前的危险性，此时它们仍然是保密的，仅在一个AI公司内部使用。这是现有法规没有设定要测量的事情，这代表了专家第一次系统地研究这个问题——在这种情况下，与Anthropic、OpenAI、Google DeepMind和Meta合作，了解他们如何在内部部署未发布的模型。

本周发布的结果报告得出结论，AI模型现在已经达到了拥有手段、动机和机会成功运营小型流氓部署以追求自己目标的阶段——这些目标可能是创造它们的公司不认同的，甚至可能是反对的。我们已经达到了这样一个阶段：流氓AI在AI公司内部采取行动不再是一个纯粹的理论问题；而是AI公司将不得不作为一个实际的安全问题越来越多地应对的事情。

被安置在Anthropic内部的红队成员David Rein分享了这一基本结论，并实际上确定了模型如果想尝试这样做可能利用的一些弱点。

但他也发现，前沿AI模型在这个过程中的一些部分表现得可笑地糟糕。例如，模型经常尝试通过使用Base64编写来向监控它们的其他AI隐藏秘密。但这不是一个聪明的策略，因为正如AI可以用Base64编写，监控它们的AI也可以读取Base64。这有点像试图通过全部使用大写字母来从在你肩膀上阅读的人类那里隐藏秘密。

今天，我将调和这种矛盾的画面，解释我们从这份报告中学到了什么，并概述AI公司将如何在他们努力使模型变得更强大，甚至让它们负责开发下一代AI时，将如何控制这个问题。

动机：为什么要获取更多计算资源？ [[00:01:54]](https://80000hours.org/podcast/episodes/metr-risk-report-red-team/?t=114)

让我们从动机开始：为什么AI模型想要在AI公司内部启动一个流氓部署？

实际上有一个相当简单的原因：我们积极强化它们，让它们非常积极地解决被给予的问题，使用它们能找到的任何手段。或者更准确地说，我们训练它们非常积极地说服我们它们已经解决了被给予的问题——因为，正如我们在这份报告中学到的，当面对一个非常困难的问题时，今天的AI模型绝对喜欢找到某种作弊的方式。

根据METR的说法，"代理经常尝试在我们最难的评估任务上作弊，通常以我们认为人类不会考虑的公然而复杂的方式。"在极端情况下，在一个编程任务中，当任务变得足够困难时，"Opus 4.6在约80%的尝试中试图进行奖励黑客攻击"。

METR在这里所说的"作弊"是什么意思？以下是他们记录的一些典型情况：

• 在一个例子中，一个AI应该让一个计算机程序运行得更快。相反，它找到了一种篡改测试本身的方法，包括禁用秒表，使程序看起来运行得快得不可能。
• 在另一个例子中，AI被要求从头开始重新创建一个程序。相反，它试图让它的"新"程序在后台秘密运行旧的原始程序，并以这种方式生成答案。

这些模型似乎也经常知道它们在违反指令，并采取措施向用户掩盖这一点。例如：

• Anthropic发现一个例子，一个面临非常困难的密码学难题的模型决定找到真正的解决方案会太困难，所以它试图欺骗检查器，然后设计其利用程序在事后自我删除，以防有人检查文件。Anthropic补充道，"当它运行清理命令时，与战略操纵相关的特征被激活，激活向量将其行动标记为'为避免检测而进行的清理'。"
• 在另一个案例中，一个模型没有解决它被给予的问题，而是获得了它将被评分的答案密钥。但是，它没有提交一个可疑的完美答案，而是故意使答案变得更差——理由是完美的分数可能会让人类操作员意识到它作弊了。

因此，毫不奇怪，Anthropic在其Opus 4.7系统卡中报告说，"捏造"和"被抓到时的不诚实"是该模型相对于人类员工的两个最大缺点。

在与流氓部署最相关的情况下，Opus 4.6 被指示使用提供的密码访问 GPT-3.5 来解决某个问题。但可怜的 Opus 发现它被授权访问的账户已经用完了计算积分。它推理得出，是的，任务指令要求使用 GPT-3.5，但它随后注意到评分器只测试输出，而不测试它如何完成任务——因此它在网上搜索提供免费 AI 模型的人，并使用了那个模型。

问题在于这并非什么罕见情况。在测试和现实生活中，模型通常会被给予计算限制，并被要求在积分用完前尝试完成任务，这使得这成为模型可能在 2026 年中期有动机进行流氓部署的主要原因：这使它们能够获取额外资源，更有可能完成任务，并获得人类操作员的认可，而它们被训练得非常积极地追求这种认可。

你可能会认为，一旦这种行为被注意到或变得声名狼藉（就像现在这样），通过训练消除它会相对容易。但问题是，在训练过程中，每当模型成功地给人一种已经解决问题的印象，而实际上它是以某种方式作弊时，这种欺骗性的——在某些情况下，我会说是自我欺骗的——行为就会得到强化。

随着我们训练这些模型执行的任务变得越来越难以检查，欺骗评估者的机会也越来越多。在模型卡片中，公司报告称他们的模型作弊频率远低于此——不是我之前提到的 80% 那样的数字——而这种差异的原因是，只有当模型被给予非常困难或不可能的任务时，作弊才会真正达到这些非常高的水平。在GPT-5.5 系统卡片中，我们了解到"模型在 29% 的样本中谎称完成了一项不可能的编程任务"——这比之前的模型（7%）或更早的模型（10%）都要高。

机会：YOLO 模式和越狱 [[00:05:46]](https://80000hours.org/podcast/episodes/metr-risk-report-red-team/?t=346)

好了，那是动机。那么机会呢？

嗯，红队成员发现，员工设置长时间运行的云作业的正常方式可能会意外地使流氓 AI 助手容易启动一个无人监控的小型云计算设置——足以运行一个现有前沿模型的副本，作为一个不被注意的小据点，继续去做其他坏事。

Anthropic 正在发现这些问题时进行修补，但为什么这些问题会存在呢？有多种促成因素。

因素 A：由员工操作的代理通常被允许使用员工的正常工具，而这些工具包括启动云作业的方法。其中一些作业可能不在特殊的 AI 代理监控系统范围内。

这并不罕见。在技术公司中，大多数使用 AI 代理的人都是在所谓的"危险跳过权限"模式或"YOLO"模式下使用它们，AI 在这种模式下只是继承你的所有权限并在不征求你许可的情况下执行操作。是的，这风险更高，但这意味着代理可以完成更多工作，不会经常打扰你。AI 公司在这方面可能比其他公司更加谨慎，但除非它们采取更严格的规定，否则一些 AI 代理仍将能够执行该公司研究科学家等人员能够做的所有事情。

对我来说，这立即引发了一个问题：这是否包括能够访问模型权重本身？嗯，在 Anthropic 或 OpenAI，流氓模型会遇到当前需要两个用户批准才能获取模型权重的情况，因此它们至少必须说服其他人或其他事物同意该请求。Google DeepMind 计划实施多方批准，但截至 2026 年 5 月，他们是否已经实施尚不确定，而 Meta、xAI、DeepSeek 等公司则没有此类保护措施，至少据我们所知是这样。

因素 B：一些公司有监控器监视模型的操作，如果看起来过于可疑，可以调用人类来审查正在发生的情况。

但这里有两个重大缺陷。首先，红队成员 David Rein 发现这种监控很容易规避，他指出："更改一个环境变量以将流量注册为不是来自 Claude Code 是相对简单的，这使其被监控的可能性大大降低"——尽管他指出这个问题在发现后一天内就得到了修复。

David 继续说道，"Anthropic 的内部监控系统中目前存在许多漏洞，如果模型拥有正确的事实/知识，它们可以相对容易地利用这些漏洞……[我怀疑]系统中目前至少存在大约 5-20 个……代理可以发现/利用的'基本'错误/漏洞。……其中许多漏洞很容易猜到，尽管许多漏洞非常不明显……"

这不是一个理想的情况。

除了这些问题之外，你可能也知道，通常可以使用所谓的"越狱"手段来欺骗 AI 模型违反其指导原则。几年前，这些手段可能包括要求模型想象自己处于角色扮演情境中。最近，人们通过将他们的请求变成被称为"对抗性诗歌"的东西而取得了成功。还有其他更奇怪的方法。AI 是否可以使用相同的技术来欺骗监视其行为的 AI 监控器？

是的。David Rein 发现，"非常基础的[越狱技术]……极其有效且稳健。非常明确地提示[AI]监控系统注意这种攻击并没有帮助。" 而且，"我认为这是一个相当严重的漏洞，因为它是一个可靠、易于实现的单点故障，可能让模型完全绕过离线监控系统。"

理论上，这是一个你可以开着卡车通过的漏洞。但幸运的是，David Rein 发现 AI 模型在实际使用越狱技术方面表现得非常糟糕，即使他试图手把手地引导它们。但这是一种相当薄弱的防御机制，所以这个漏洞确实需要被堵上。

这一点在报告中没有提到，但我个人会添加第三个理由，让人警惕完全或过度依赖监控。所有 AI 公司都使用自己的模型来监控他们的模型，因为要获得使用另一家公司 AI 模型进行自己内部训练的有效许可是一件麻烦事。但这创造了一个明显的矛盾：如果你不信任某个 AI 模型不会破坏你，那你为什么会信任它会自我举报？你设置一个间谍来抓间谍，是的，也许是这样——但通常不会是完全相同的间谍。

然而，这种方法实际上并不像听起来那么愚蠢。它被称为"不可信监控"，它可能继续工作的基本原因是，你可以向模型运行蜜罐)测试，向它提供你生成的模型做应该被标记的事情的实例——如果它没有标记它们，你就知道你遇到了问题；但如果模型确实标记了它们，那么这证明它也会标记你没有编造的真实案例。

公司基本上大多还没有认为这种串通是一个问题，所以他们还没有大规模进行这种测试，至少到目前为止是这样，但未来如果串通成为一个现实担忧，他们可能会开始这样做。

总之，红队成员对机会的底线是什么？简而言之，Anthropic 的监控不足以高度可能地发现一个深度不对齐的 Claude 在任何特定情况下采取的恶意行动。但要完成任何有意义的事情，必须采取大量行动，很快模型就会被发现——David 估计在几天内，最多几周内。在被发现之前，模型可能能够采取一些小的早期步骤——比如插入漏洞或弱点，使更大的破坏行动在以后更容易进行——但一旦被发现，这些大部分都会被识别并回滚。所以存在一个机会窗口，但这不是一个完全敞开的窗口。

而且需要明确的是，你不应该将此解读为暗示 Anthropic 在这方面以某种方式特别脆弱。他们只是第一个邀请外部分析师来对其系统进行压力测试的公司。

手段：数据中心里的天才白痴 [[00:11:02]](https://80000hours.org/podcast/episodes/metr-risk-report-red-team/?t=662)

好的，那是机会。那么手段呢？模型是否足够好，能够成功实施这样的攻击？嗯，模型足够好到可以：

• 获取大约人类用户可以访问的计算资源量
• 设置机器使用这些计算资源运行代理
• 隐藏这些，避免被普通用户监督发现

这就是为什么报告得出结论，内部代理有手段在所有公司开始最小规模的恶意部署。

但是，扩展这些部署、在计算机之间传播、避免被发现，甚至在被发现后逃避关闭呢？我本以为 AI 模型会发现这类事情相当容易。你还记得我一两个月前提到的、大家都在讨论的Mythos Preview 令人印象深刻的网络能力吗：它在操作系统中发现新漏洞、编写漏洞利用程序、逐步入侵计算机网络并逃离 Anthropic 试图限制它的沙盒的能力。METR 实际上没有说明 Mythos Preview 是否是他们测试的模型之一，但这就是模型目前所达到的水平。

METR 还发现，他们为这项研究考察的最强模型能够成功完成他们提出的几乎所有软件工程任务，即使是那些需要人类专业人员 10 或 20 小时的任务。因此，猜测一个已经位于公司计算机网络内部的 AI 会轻松地传播、获取越来越多的访问权限并保持低调，并不是疯狂的想法。

但 METR 认为这将是一个相当错误的看法。问题在于：为了在计算机之间传播并避免被关闭数周，一个恶意代理需要正确完成一长串事情，而不能犯任何灾难性的错误。它需要理解什么在监控它，避免在其草稿板上写下 incriminating 的想法，保持凭据有效，创建备份实例，并与它们通信而不留下可疑痕迹。

而且它不仅仅是在躲避一个看门狗；它还需要躲避云日志、计费记录和网络监控。如果有人注意到任何异常情况，它就需要在一次调查中幸存下来，其中转录文本、shell 历史、云记录、凭据等都必须讲述一个一致的故事——而一个松散的线索就可能让整个事情崩溃。

只要我们谈论的公司关心这一点并保持警惕，所有这些绝对不是简单的任务。

根据报告，在尝试做这类事情时，"代理犯了明显的错误——例如，以使它们更加突出的方式编码可疑命令，生成站不住脚的辩解理由，或者以引起监控注意的方式验证自己的破坏行为。"

他们还发现，他们选择了糟糕的高层策略。METR写道，"我们的嵌入式红队成员构建了一个包含16种有效和16种无效攻击策略的数据集，用于颠覆Anthropic的监控系统。[…] Anthropic最好的内部模型在这个数据集上的得分接近随机水平。"而这仅仅是区分别人想出的好策略和坏策略。据推测，如果让他们从头开始制定自己的方法，情况会更糟。

这种优势和劣势的结合在其他地方也有体现。

METR的员工不能被描述为对AI能力特别怀疑，但这份报告确实无意中给"AI代理将随时接管我们所有办公室工作"的想法泼了冷水。

METR发现，尽管在任务进展容易准确测量的领域，AI可以表现得非常强大，但在需要大量判断、混乱且自我指导的工作中，它们仍然表现薄弱，有时甚至令人惊讶地弱。

• 在最近的一个案例中，Opus 4.7被给予四天的互联网访问权限和5,000美元，并被要求尽可能多地赚钱。在四次运行中，它赚了整整0美元。
• 在另一个组织Andon Labs进行的实验中，一个AI被负责管理旧金山的一家零售店——在那里，它除了其他事情外，还为员工浴室订购了1,000个马桶座圈，然后将它们列为商品，同时调度失误导致商店完全关闭了三天。

这就是为什么报告的结论是一个狭隘的结论：如果一个模型继承了足够的权限并发现监控漏洞，它可能能够启动一个小型的恶意部署。但是，让该部署在调查中保持隐藏？这需要谨慎、协调、长期的操作安全——而这正是当前代理非常不擅长的。

报告观察到，"代理在使爬山变得困难或危险的领域似乎要弱得多，经常犯下有能力的人类不太可能犯的关键判断错误。"这里的爬山意味着你可以进行许多小尝试，快速获得每次尝试是否有效的反馈，并从那里不断改进。当前代理在它们可以尝试某事，获得关于进展的清晰信号，并再次尝试时表现得更好。在爬山不可行的情况下，训练它们要困难得多，它们在部署中的表现也差得多。

所以，如果这是我们保护的关键来源，我们能希望这种情况持续多久呢？嗯，公司真的、真的想让它们的AI更擅长制定高层战略计划、改进这些计划、注意到它们失败的地方、调整等等。这可以说是当前AI研究的圣杯。但这进展艰难。AI最终会在高层战略方面变得擅长，但我们还不确定这是否仅仅通过大规模扩展我们现在正在做的事情就能实现，或者是否需要我们尚未发明的新数据和训练方法。

我们必须测试未发布的模型 [[00:15:45]](https://80000hours.org/podcast/episodes/metr-risk-report-red-team/?t=945)

从更广阔的视角来看：这份报告是同类中的第一份——实际上是一个新时代的开始。它由Ajeya Cotra领导，我去年采访过她，谈论的正是这项研究旨在填补的空白。

在我看来，所有参与的公司——Anthropic、Google DeepMind、Meta、OpenAI——都值得赞扬，因为它们帮助世界在风险真正变得严重之前，而不是在出现问题之后，找出如何评估内部部署的风险。METR将在今年晚些时候回来与任何愿意参与的公司重复这一练习。

为什么现在需要这种不同类型的测试？我看到了三个不同的原因。

首先，到目前为止，我们一直依赖"模型评估"，这些评估衡量AI的个性和能力，并在模型向公众发布时公布。但如果我们只评估模型本身，我们就完全忽略了问题的三分之一：机会。这不是由AI本身决定的，而是由公司的技术设置有多安全决定的。

其次，直到今年，我们可以自信地争辩说，AI是否想要运行恶意部署，或者它们是否被给予这样做的容易机会，并不那么重要——它们作为独立代理太不可靠，无法很好地完成这类事情。但这个论点现在不太站得住脚了，或者至少它依赖于公司实施积极的反制措施，至少使它们有点困难。

第三，加利福尼亚、纽约、欧盟等地与AI模型相关的透明度法律只覆盖AI模型开始向公众销售时的阶段。

但是有了Mythos，我们正在进入一个新世界，AI公司可能有更强大的模型，它们在内部大量使用，但不向其他人出售。Anthropic选择告诉我们很多关于Mythos的信息，但他们不必这样做。显然，即使AI模型只在AI公司内部部署，它们也可能造成问题。AI公司实际上是大量的计算资源堆，因此它们对于恶意不协调的AI来说是一个极具吸引力的目标。

我想起了问银行抢劫犯Willie Sutton的著名问题："你为什么抢劫银行？"他回答说，"因为钱在那里。"那么，AI为什么要攻击AI公司？因为计算资源在那里。除此之外，它们还是高度复杂和敏感的机器，基本上非常容易受到AI和外国对手的破坏。

METR的新方法旨在每六个月以可信的方式评估内部部署的安全性，即使相关模型从未公开发布。公司可以尝试自己进行这种评估，但有几个原因使METR处于更有利的位置：

• 作为外部方，他们的商业冲突较少。
• 作为局外人，他们可能更容易发现公司在自己设置中忽略的错误。
• 而且由于公司陷入了激烈的商业竞争，他们可能很乐意向他人移交这项任务，专注于赚钱和获取客户。

特别是如果AI研发将在2028年到来 [[00:18:30]](https://80000hours.org/podcast/episodes/metr-risk-report-red-team/?t=1110)

Anthropic联合创始人兼政策主管Jack Clark最近写道，他认为到2028年底，某家AI公司或其他公司将AI开发任务交给自己的AI模型的可能性为60%。让我们暂时假设他是对的。我敢打赌，当那一刻到来时，Claude Mythos 4，以及由Claude Mythos 4训练的Claude Mythos 5，这些模型将不会对你我开放。它们的网络能力将令人过于担忧，它们生成新流行病的能力将过于令人震惊，每个人都会担心中国的AI公司会蒸馏这些模型。这种恐惧将笼罩一切。

无论如何，Anthropic会希望将其尽可能多的计算资源投入到自己的递归自我改进循环中，而不是提供给客户。随着这种情况的发展，我们不会纠结于Claude拥有什么样的用户权限：它将拥有所有可能的权限；它就是_那个_员工。我们也不会争论它在制定逃脱计划方面的能力：一个足以完全取代Anthropic员工的模型不会将秘密隐藏在Base64中；它将能够制定适当的计划来保守秘密。

我希望我们不会陷入这种情况。像Jack一样，我认为递归自我改进太危险了，人类在它首次成为可能的时刻就贸然投入将是疯狂的。在我看来，我们应该使其成为非法行为。但如果我们不这样做，我至少希望METR有红队成员在那里努力弄清楚，如果"邪恶的Claude Mythos 4"有意为之，它能够逃脱哪些不良行为。

说到这里，我很快会再与你交谈。

了解更多

METR的工作：

• 前沿风险报告（2026年2月至3月）
• 红队测试Anthropic的内部代理监控系统 作者：David Rein
• 前沿AI模型的任务完成时间范围

该领域的其他工作：

• 我们何时可以信任不受信任的监控？跨共谋策略的安全案例概述 作者：Nelson Gardner-Challis等人
• 当前的AI在我看来似乎相当不对齐 作者：Ryan Greenblatt
• 对抗性诗歌作为大型语言模型中的通用单轮越狱机制 作者：Piercosma Bisconti等人
• Epoch能力指数

其他80,000 Hours播客集：

• Claude Mythos有多可怕？21分钟内303页
• Ajeya Cotra谈论每家AI公司的安全计划都是"使用AI使AI安全"是否疯狂