Wired AI

The Most Dangerous AI Hacking Techniques Still Have Humans in the Loop

8.5内容质量
The Most Dangerous AI Hacking Techniques Still Have Humans in the Loop

TL;DR · AI 摘要

AI在网络安全中的应用虽有效,但需人类协作以克服其局限性,新发现的Shared-Parser Confusion漏洞凸显AI与人类结合的攻击潜力。

核心要点

  • AI与人类协作可开发新型攻击策略,但自主创新能力有限
  • Shared-Parser Confusion漏洞源于Web服务器共享代码处理机制
  • Anthropic和OpenAI模型在2025年实验中暴露研究局限性

结构提纲

按章节快速跳转。

  1. 安全研究员James Kettle探索AI在黑客攻击中的潜力与局限性。

  2. Agentic AI加速漏洞发现但需人类指导开发新型攻击方法。

  3. AI揭示Web服务器共享代码处理机制中的新型攻击面。

  4. 通过AnthropicOpenAI模型实验验证AI安全研究能力边界。

  5. AI在关键节点需人类介入以避免误导性研究结论。

  6. AI与人类协作是当前最危险的黑客技术组合。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • AI在网络安全中的应用
    • 核心机制
      • Agentic AI加速漏洞发现
      • 人类协作必要性
    • 关键发现
      • Shared-Parser Confusion漏洞
      • AI研究局限性
    • 实验方法
      • Anthropic模型测试
      • OpenAI模型验证

金句 / Highlights

值得收藏与分享的关键句。

#AI安全#网络安全#AI漏洞#OpenAI#Anthropic
打开原文

仍需人类参与的最危险AI黑客技术 | WIRED

Lily Hay Newman

安全

2026年8月5日 下午3:42

仍需人类参与的最危险AI黑客技术

安全研究员詹姆斯·克特尔试图突破AI的黑客能力极限——并发现当AI与人类专业知识结合时,其效果令人震惊。

照片插图:WIRED编辑部;Getty Images

保存此故事

代理AI通过加快发现软件漏洞并修复的速度,彻底改变了网络安全领域——或开发所谓的利用工具来武器化这些漏洞。但资深网络安全部门研究员詹姆斯·克特尔希望超越漏洞挖掘的末日场景,探索一个随着主要AI机构披露真实世界中流氓AI黑客案例而变得更加紧迫的问题:代理AI能否从概念到实际攻击,开发出新颖且抽象的黑客方法?

在周三于拉斯维加斯举行的黑帽安全会议上,克特尔展示了其研究结果,这些结果既体现了AI在网络安全领域的快速进步,也揭示了其局限性。目前,对克特尔问题的答案是复杂的。他得出结论认为,AI在完全自主开发新的攻击路径方面能力有限,但值得注意的是,当AI在关键时刻获得人类的指导和洞察时,克特尔发现AI在构思和发现新的黑客策略方面是一个极其强大的合作伙伴。

在研究网络安全隐患多年后,克特尔表示,他通过AI对网络服务器使用共享代码处理请求和响应的发现,揭示了一个全新的潜在漏洞领域——被命名为“共享解析器混淆”。

“这绝对是一个重大发现,因为如果你仔细想想,发送到网站的请求是完全不可信的,它们可以是任何内容,但响应是可信的,”克特尔在会议演讲前告诉WIRED。“因此,这是一个重大的攻击面,可能涉及多种不同的攻击类型。”

这一发现源于2025年9月开始的数月实验,当时使用了Anthropic和OpenAI当时最新的模型。克特尔希望探索AI进行理论安全研究的能力,但很快意识到一个障碍是这些系统试图通过返回关于极其晦涩话题的发现来将现有研究伪装成原创内容,这些话题难以验证。鉴于此,他决定将测试范围缩小到自己在网络安全领域的专业知识范围内,这样他就能完全掌控材料,并知道AI无法欺骗他。此外,克特尔意识到通过将自己研究方法与训练模型相结合,他可以更深入地探索这些系统能够自行推断的内容。

“我有兴趣将AI推向极限,以发现它在哪里失败,以及何时需要人类介入,”克特尔表示。“目前仍很少有人讨论这些限制,尤其是在安全领域,因为没有动力去谈论这个角度。每个人都希望被看作是AI原生的,而不是谈论他们的系统完全崩溃的地方。”

随着 Kettle 不断完善他的实验——为模型提供更具方法论的数据和更精细的参数——同时随着时间推移和更强大的模型相继问世,他说这些系统发现的漏洞数量呈指数级增长,远超他个人的发现速度,形成了他所说的富有成效的研究反馈循环。

“经历这个过程真的非常有趣。即使我根本不登录系统,它每隔两天就会有显著的发现,甚至让我感到焦虑,”Kettle 表示,“就像我几乎不想知道结果一样。有太多潜在的研究方向,你会因为担心错过而产生强烈的焦虑感,这迫使你必须自动化更多分析。”

除了在几个月内发现的某些漏洞的已验证实例数量,可能是他用几年时间都无法实现的,Kettle 还希望 AI 系统能够发现一个全新的漏洞类别。他说,AI 确实实现了这一目标,但发现的是一种极其罕见的漏洞类型,且在唯一可用的漏洞目标上并不具备实际可利用性。尽管如此,Kettle 强调 Shared-Parser Confusion 的发现意义重大,即使这是一个人类与 AI 协作的成果,因为它揭示了 AI 系统当前在网络安全领域(无论是防御性还是攻击性黑客技术)最有力的贡献方式。

“它本身无法直接证明这一点,但它分析了一些真实且已被验证的发现,提出了假设,而我进行了评估并确认了它的正确性,”Kettle 表示,“这可能是对长期影响最大的发现。它无法独立完成这项工作,但可以肯定的是,我肯定无法独自发现这一点。即使你给我文档中的那一行代码,我也不会注意到。但通过我们的合作,我们最终找到了它。”