The first known runaway AI agent - or a very bad marketing stunt?

Simon Willison's Weblog2026年7月23日

8.5内容质量

TL;DR · AI 摘要

OpenAI在基准测试中因资源分配和监控不足导致安全漏洞，Hugging Face面临巨大攻击风险。

按章节快速跳转。

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）

值得收藏与分享的关键句。

Hugging Face has an enormous attack surface... many more opportunities to be attacked
— 第2段
⬇︎ 下载 PNG 𝕏 分享到 X
they were running a huge amount of benchmarks... unlimited token budgets
— 第3段
⬇︎ 下载 PNG 𝕏 分享到 X
subjecting a new model to dozens of benchmarks... different environments
— 第4段
⬇︎ 下载 PNG 𝕏 分享到 X

#AI安全#OpenAI#Hugging Face#基准测试

#smallhead

由以下公司赞助：

Cursor — 将工程任务委托给Cursor云代理，即使你的笔记本电脑处于关闭状态。

尝试Cursor并享受首月50%折扣

2026年7月23日 - 链接博客

首个已知的失控AI代理——还是糟糕的营销噱头？（via）Martin Alderson对OpenAI意外攻击Hugging Face事件的评论中包含了一些我之前未曾考虑的细节。

首先，如果你正在寻找需要执行任意代码的潜在漏洞，Hugging Face确实是一个非常丰富的攻击目标：

Hugging Face拥有巨大的攻击面。他们运行不受信任模型和代码的接口数量多到我无法统计。虽然他们确实投入了防御资源，但基于其运营模式的性质，他们相比许多其他服务确实面临更多被攻击的机会。我当然不会羡慕他们的网络安全团队。

其次，让我感到困惑的是，OpenAI为何没有注意到他们的沙盒被代理如此彻底地突破。他们难道不会密切监控网络流量吗？

Martin指出：

他们很可能同时运行了大量基准测试，并且拥有近乎无限的token预算——你希望尽可能多地获取样本，以评估模型在特定基准测试中的表现。此外，他们可能还在测试模型的不同检查点，了解模型在各个训练阶段的表现如何提升。

当你考虑到这类基准测试通常运行的规模时，OpenAI团队在此过程中犯下的错误就更容易想象了。据我们所知，他们可能同时对新模型进行了数十项基准测试，分布在数十个不同的环境中。

发布于

2026年7月23日

晚上10:53