Eugene Yan

Using LLMs to Secure Source Code

8.5内容质量

TL;DR · AI 摘要

利用大语言模型(LLMs)可系统化发现代码漏洞,但验证和修复仍是瓶颈。Anthropic团队通过六步流程实现自动化安全防护,已发现1596个漏洞但仅修复97个。

核心要点

  • 漏洞发现可并行化处理,但验证和修复环节效率低下
  • 使用Claude Opus的六步流程:威胁建模→沙盒→发现→验证→分类→修复
  • 实际扫描显示1596个漏洞中仅97个被修复,修复率不足6%

结构提纲

按章节快速跳转。

  1. 介绍LLMs在代码安全领域的应用潜力及当前瓶颈。

  2. 提出包含威胁建模、沙盒验证等六步骤的系统化流程。

  3. 披露扫描1596个漏洞但仅97个修复的现实差距。

  4. 验证环节成为当前自动化安全防护的主要瓶颈。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 使用LLMs保障源代码安全
    • 核心流程
      • 威胁建模
      • 沙盒验证
      • 漏洞发现
      • 验证环节
      • 分类优先级
      • 修复闭环
    • 技术瓶颈
      • 验证效率低
      • 修复自动化不足

金句 / Highlights

值得收藏与分享的关键句。

#LLMs#代码安全#漏洞修复#Anthropic#Claude Opus
打开原文

使用大型语言模型保障源代码安全 | Anthropic 的 Claude

使用大型语言模型保障源代码安全

我们分享如何与 Claude Opus 协作构建威胁模型、发现代码库中的漏洞,然后验证、分类和修复漏洞的最佳实践。

  • 分类:最佳实践
  • 日期:2026年5月27日
  • 阅读时间:25分钟
  • 分享:复制链接

模型能力正在快速且不均衡地发展。我们与安全团队合作,帮助他们发现并修复自身代码和开源软件中的漏洞,这项工作让我们更深入理解如何利用模型保障源代码安全。我们的主要结论是:漏洞发现现在可以轻松并行化,而瓶颈已转移到验证、分类和修复环节。

为说明这一差异,作为我们对开源软件扫描的一部分,截至2026年5月22日,我们已披露了1596个漏洞。据我们所知,其中97个已被修复。

本指南将逐步讲解如何与 Claude Opus 协作构建威胁模型、发现代码库中的漏洞,然后验证、分类和修复它们。虽然我们无法提供所有答案,但我们将分享团队如何规模化漏洞发现,以及后续阶段的关键实践。立即使用配套的代码库开始实践,其中包含交互式工作流技能和自主扫描演示框架;在阅读过程中,我们将标注实现每个步骤的具体技能。

发现与修复循环

成功发现并修复最多漏洞的团队都采用了现有最佳实践的变体。我们将这些实践提炼为六个步骤:

  • 威胁模型:在开始扫描前,明确什么构成漏洞。
  • 沙盒环境:构建沙盒环境以隔离代理并验证利用方式。
  • 漏洞发现:让模型在源代码中查找漏洞。
  • 验证:独立确认哪些发现确实可被利用。
  • 分类:去重发现结果,分配严重等级并确定优先修复项。
  • 修复:应用修复方案,确认漏洞已被消除,并搜索变种漏洞。

对威胁建模和沙盒环境的一次性投入将驱动防御循环——一个持续的发现、验证、分类和修复循环,其中瓶颈不再是发现漏洞,而是后续所有环节。

前两个步骤——构建威胁模型和沙盒环境——是整个循环的基础。这些工作通常每个代码库执行一次,并在底层系统变更时重新审视。接下来的四个步骤是针对源代码的循环:发现、验证、分类和修复。

对代码库的首次运行通常会产生最多的发现结果。后续运行的漏洞数量通常更少,但复杂度更高,因为简单漏洞已在之前的运行中被修复。然而,不要期望第n次运行完全没有新发现。模型具有随机性,大型代码库可能包含大量尾部漏洞,即使代码未变更,这些漏洞仍可能持续出现。

在首次处理代码库时,应多次运行整个循环,根据新发现数量和系统风险容忍度决定何时停止。首次迭代后,应定期扫描或在代码发生重大变更时进行扫描。

接下来,我们将详细讲解每个步骤,说明其重要性、产出结果以及实现方法。

1. 威胁模型:定义何为漏洞

误报最常见的原因在于模型未能准确理解你的信任边界。模型可能会将代码标记为存在漏洞,因为它假设客户端可能发送损坏的值或攻击者可能控制配置,尽管这些输入在你的环境中是可信的。相反,模型可能假设面向互联网的服务仅限于内部使用,从而低估了真实漏洞。在这两种情况下,模型对威胁模型的理解都是错误的,而非代码本身存在问题。

“一个团队发现了一个规律:模型在系统拥有良好记录的威胁模型、系统设计文档、需求和约束条件下表现最佳。当威胁模型定义清晰时,模型发现的漏洞中有90%都可以被利用。”

你可以通过以下两个步骤与Claude合作构建威胁模型:

第一步:从代码、文档和漏洞历史中启动模型 向模型提供新安全工程师入职第一天会收到的信息:架构文档、维基、入口点、Git历史记录和过往漏洞。这有助于克服仅从代码中推断隐含知识、权衡取舍和设计决策的挑战。然后要求模型创建一个包含系统上下文、资产、入口点和信任边界的威胁模型。最后,让模型对过往漏洞进行聚类,并列出相关的漏洞类别。确保威胁模型明确记录你关心和不关心的漏洞类型及其原因。

“一个团队分析了数百个过往的CVE和安全修复提交记录,将其提炼为“漏洞特征”提示,并向模型提出两个问题:修复是否彻底?是否在所有相关位置都应用了修复?他们在一个小时内发现了三个可被利用的问题。正如他们所说:‘‘过去人们利用过什么’有时比‘帮我在这个代码库中找漏洞’更容易取得成功。’’”

第二步:让模型与熟悉系统的人员进行访谈 考虑采用Shostack的四个问题:我们正在构建什么?可能发生什么错误?我们正在采取什么措施?我们做得好吗?先完成引导步骤,这样访谈者就不会从零开始。这样,他们无需花费数小时研究和从头构建威胁模型,而是可以从草稿开始。虽然访谈步骤是可选的,但它能为模型提供代码和文档中无法获取的上下文信息,从而提升威胁模型的质量。

以下实践能显著提升效果:

  • 考虑依赖项的安全策略。许多开源项目会公开相关策略。例如,vLLM的security.md、SQLite的“对抗黑暗艺术”文档和ImageMagick的安全策略。你的威胁模型应直接参考这些策略,而非从零开始重新构建。
  • 明确标记可信内容。如果你信任配置文件或认证客户端,请在威胁模型中明确记录。这些假设有助于区分不可利用的错误和真实攻击面。
  • 在代码库中包含THREAT_MODEL.md文件。将其纳入代码仓库,并在代码变更时同步更新。发现代理在搜索前可以读取该文件,从而跳过已知的非问题点。

你将在两个场景中使用威胁模型。在发现阶段,作为范围划分:对代码进行分区、确定目标优先级并跳过超出范围的内容。这有助于处理无法完全扫描的大型代码库。在分类阶段,作为过滤器:在广泛扫描后,使用威胁模型更好地根据你的系统和环境校准严重性。

“一个团队在扫描大型项目时误报率高达40%,他们深入分析了原因。发现结果可复现且概念验证(PoC)证明了可利用性。但负责代码的开发团队却将其视为误报,因为这些漏洞不符合项目的威胁模型。另一位团队的首席信息安全官(CISO)简洁地总结道:'[该模型]对代码有良好的上下文理解,但对我们缺乏了解。'”

尝试使用威胁模型技能。它会逐步引导你完成本节描述的两个步骤——引导(bootstrap)会根据你的代码、CVE和Git历史生成草稿,而访谈(interview)则会引导系统负责人通过Shostack的四个问题来完善模型。输出结果是一个名为THREAT_MODEL.md的文件,该文件用于发现和分类阶段。

2. 沙箱:安全运行代理并验证可利用性

沙箱的一个目的是保护你的系统。为了使模型能够安全且自主地运行,你需要一个强大的隔离层。没有它,代理可能会超出目标范围并执行意外操作。

“一个团队告诉模型它没有网络访问权限——实际上它有——但模型仍然发现它可以从GitHub获取数据。另一个团队观察到代理在扫描过程中回答了一个GitHub问题。这两种行为都不是恶意的,但都表明需要通过代码和配置强制实施约束。”

将隔离措施与你的威胁模型匹配。容器适用于发现代理读取代码的场景,但应在微虚拟机(如Firecracker)或出站流量被锁定的完整虚拟机中运行目标及其PoC,以确保无法访问生产系统。永远不要让代理访问凭证(如~/.aws、~/.ssh、.env)。

仅在设置沙箱时为其提供网络访问权限。拉取依赖项、构建、安装工具、部署目标并运行现有测试以确认一切正常。然后,对环境进行快照并移除其网络访问权限。在扫描期间,仅允许流量到达模型API,并通过本地代理路由。每次运行开始时加载快照,使每次扫描都从相同的干净状态开始。

沙箱的另一个目的是验证可利用性。在静态扫描期间,模型会读取代码并推测可能出错的地方,但无法测试路径是否可达或是否存在补偿控制。因此,模型可能会标记一些实际上并不关心的不可利用的代码正确性问题。当团队构建了一个允许代理编译代码、运行测试并引爆概念验证(PoC)的沙箱后,不可利用的发现结果显著减少。

“一个进攻性安全团队构建了一个测试框架,为代理提供了一个测试环境,并设定了一个简单的验证规则:只有当代理能够构建概念验证并在测试环境中运行时,才算作真正的阳性结果。六周后的评估显示,'最大的效果杠杆是为模型提供测试环境、真实系统并运行PoC。'”

当构建沙箱时,尽可能多地固定参数,确保每次运行都使用相同环境中的相同代码:镜像标签、提交的SHA值、依赖项和构建命令。缓存本地副本以避免网络依赖,并确保容器具备足够的耐用性,以便多次测试循环可以直接加载容器。

“一个团队的扫描发现了一个漏洞,结果发现是代理下载了库的旧版本而非实际部署的版本。这一问题被一位阅读了转录内容的工程师发现,他注意到有不同依赖项被下载。他们现在构建的Docker容器会将依赖项固定为与生产环境匹配的版本,因此发现代理和验证代理操作的都是攻击者可能接触到的相同制品。”

构建与生产环境足够一致的沙箱非常重要。排除依赖项(如队列或数据存储)可能导致低估生产环境中可能存在的漏洞。相反,忽略生产环境的防护措施(如WAF或认证网关)会导致模型报告已被生产环境缓解的不可利用漏洞。

然而,如果由于云依赖、数据存储或其他现实复杂性,构建代表性沙箱不切实际,可以先从下面的发现步骤(Discovery step)开始。你不一定需要在沙箱中运行PoC(概念验证)。前沿模型仅通过分析源代码就能有效发现漏洞,包括我们自己的团队在内的多个团队都证实了这一点。权衡在于验证阶段,没有运行目标时无法通过PoC证明发现结果,因此需要为验证阶段分配更多时间。你也可以在发现结果数量足够多时,再投入资源完善沙箱。

参考Harness的README.md获取示例沙箱。在此实现中,代理和目标在gVisor隔离的容器中运行,出站流量仅限于模型API。目标通过指向特定提交的Dockerfile构建,setup_sandbox.sh脚本负责处理初始化阶段。

3. 发现阶段:提供丰富的上下文、简短的提示和有用的工具

为发现代理提供可按需加载的上下文信息,例如威胁模型、架构文档和过往扫描结果。当代理理解你的信任边界和系统实际部署方式时,就能更有效地识别特定于你系统的漏洞。

我们发现前沿模型在发现阶段受益于越来越简洁的提示。出人意料的是,过于具体的提示反而会降低发现效果——冗长的检查清单往往会限制模型的创造力,生成更少的新型漏洞。以下是一些在发现阶段帮助我们提升效果的提示策略:

  • 提供目标和上下文。说明“为什么”和“什么”——为什么要进行扫描、重要发现的特征、正在扫描的系统是什么——将“如何扫描漏洞”留由模型自行判断。前沿模型在安全任务上表现越来越出色,过度具体的提示会限制其尝试范围。
  • 尝试要求特定类型的漏洞。如果你想聚焦于由过往CVE或代码库语言指导的特定漏洞类型,请明确说明。描述该漏洞类型的功能、常见位置,帮助模型在你的代码库中识别此类漏洞。
  • 定义输出内容。要求生成包含预定义字段的结构化报告,并按逻辑顺序排列字段,使模型的推理过程能逐步构建每个字段的内容。示例字段包括原理、发现、影响、严重性等。设置一个"逃生舱"机制,使模型在发现弱漏洞时能提前退出。

为模型提供搜索和阅读代码库的工具,如grep、glob等。同时允许模型使用团队特有的安全工具,如静态应用安全测试(SAST)扫描器或模糊测试工具。让模型自行提出完成特定任务所需的工具,并提供相应工具。最后,允许模型根据需要构建新工具:前沿模型在编写所需工具方面的能力正在不断增强。

"除了源代码,某渗透测试团队还为发现代理提供了发送请求、检查响应和查询流量日志的工具。结果,代理无需猜测路径是否可达,而能逐一测试每个候选路径,使他们的真正阳性率提升至近100%。"

让模型对系统进行初步扫描以划分搜索空间,例如按攻击面、端点或组件划分。然后将这些划分结果分发给并行的发现代理,避免它们重复发现浅层漏洞。最后运行系统级扫描,利用划分结果中的发现信息作为上下文来搜索漏洞。

"试图暴力破解发现漏洞的团队很快遇到了边际效益递减。某团队表示:'我们最初尝试横向扩展并增加代理数量,但发现收益有限。'另一团队通过增加关注领域和并行代理数量,发现了'大量问题',但其中大部分都是重复项。"

如果你有目标系统的沙箱环境,要求发现代理构建漏洞的证明(PoC),如脚本、崩溃输入或失败测试。构建PoC有助于代理迭代验证漏洞,而生成的证据文件可为验证代理提供具体评估依据。即使代理无法复现的漏洞仍应上报,并标记为未经验证,以保持高召回率。

漏洞扫描(vuln-scan)技能在此阶段非常有用。它会读取你的THREAT_MODEL.md文件,将目标划分为关注领域,并按领域分发并行审查代理。输出结果是结构化的发现信息,可直接被后续步骤使用。

4. 验证:过滤不可利用的漏洞

发现阶段优化的是召回率;验证阶段优化的是精确率。换句话说,发现阶段应尽可能多地找出漏洞,包括那些可能性较低的漏洞;验证阶段应排除实际上不可利用的漏洞。当代理试图在同一个步骤同时完成发现和验证时,可能会自我审查并排除真正的可利用漏洞。我们曾通过艰难教训认识到这一点:要求发现代理同时验证漏洞,反而导致它们过滤掉本应通过独立验证步骤确认的真正阳性结果。

验证代理应与发现代理相互独立。在独立的容器中运行验证代理,不共享文件系统或对话历史记录。如果验证代理接触到发现代理的推理过程,可能会简单地附和而非实际验证。因此,应只向验证代理提供(1)概念验证或书面发现报告,以及(2)代码库,使其能够搜索发现者可能遗漏的缓解措施(如上游验证、认证网关、类型约束或不可达代码)。

如果单次验证仍允许过多不可利用的发现通过,可以尝试运行多个独立的验证器。它们可以从不同角度分析或使用不同模型进行验证,然后根据多数投票结果进行判断。此外,也可以设置一个独立的仲裁者来决定发现代理和验证代理结果之间的争议。

提示验证代理去反驳发现代理的发现。让验证器假设每个发现都是误报,并寻找该发现错误的原因。为验证代理提供明确的判断标准,以确定发现是否为真阳性。这一点在发现代理的输出中未包含概念验证(PoC)时尤为重要。应尽可能排除尽可能多的不可利用发现,以减少人工审查的工作量。

“在我们合作的团队中,添加一个对抗性验证器使从发现阶段产生的不可利用发现数量减少了一半。要求该验证器还需构建一个确认漏洞的概念验证(PoC),使误报率接近于零。这两个步骤共同显著降低了后续的分类和补丁处理负担。”

如果能够在沙箱中充分复现生产环境(参见步骤2),请提示验证代理构建并执行可复现的概念验证(PoC)。如果PoC能够正常运行,可以确认该发现是可利用的。需要注意的是,反之不成立——无法生成有效PoC并不能证明是误报。

“一个扫描开源包的团队构建了一个验证步骤,从而形成闭环:扫描包、生成概念验证(PoC),然后部署一个使用该包并触发PoC的模拟应用。他们的观点是:'验证是最大的瓶颈,而PoC就是验证。'”

5. 分类:按根本原因去重,按前提条件和影响排序

虽然验证可以确认发现是否可利用,但分类评估的是补丁优先级。以前,由于发现漏洞需要更多努力,发现漏洞的工程师也会负责分类。现在,随着模型能够在午餐前发现上百个候选漏洞,分类已成为瓶颈。

正确的分类有助于防止警报疲劳。如果你提交了太多重复或严重程度被夸大的漏洞,产品工程师可能会停止阅读这些报告,即使其中有些需要立即修复。开源维护者尤其容易被未分类的发现淹没,因为他们会收到许多不同用户提交的报告,而这些用户依赖他们的软件。

“多个团队分享了相同的教训:如果我们给产品工程师一堆发现,其中大部分是不可利用的,他们会失去对报告的信任并放弃。他们还会优先处理关键和高优先级的发现,以避免给下游工程师造成过载。其他团队通过将模型指向现有待处理列表(之前扫描器、之前模型、漏洞赏金提交的开放发现)找到了捷径——几天内就清除了数百个陈旧条目。”

为了去重发现,应考虑根本原因。扫描器通常会在多个调用点标记同一个漏洞,或报告同一个根本原因的多个症状。以下是一个实用方法:首先使用一个廉价的确定性检查:相同文件、相同类别、漏洞行号在彼此附近十行内。然后,让模型对剩余内容应用定性规则:

  • 视为重复项:同一根本原因用不同表述;同一漏洞在多个调用点被报告;缺少全局保护(如认证检查)在每个端点被单独报告;或同一路径中同时标记了原因和结果。
  • 视为独立项:同一文件中不同漏洞类别;不同变量流向不同汇点;一个辅助函数中包含两个独立漏洞;两个端点缺少相同检查,但每个都需要单独修复。

如果您的框架为每个发现生成概念验证(PoC)和补丁,另一种去重方法是检查某个发现的补丁是否也能消除其他发现的PoC。

去重后,根据以下标准对每个发现的严重性进行评级:

  • 可达性:攻击者能否从真实入口点到达此代码,还是只能从内部代码和端点到达?
  • 攻击者控制:不受信任的输入是否完整到达汇点,还是上游有消毒或限制处理?
  • 前提条件:触发漏洞需要哪些条件:非默认设置、特定功能标志、攻击者必须在狭窄时间窗口内触发?
  • 认证:未认证攻击者能否触发,还是需要登录用户或管理员?
  • 读取 vs. 写入:攻击者只能读取数据,还是也能修改?
  • 影响范围:如果PoC触发,受影响的是谁?单个用户还是所有用户,单个租户还是整个平台,用户空间还是内核?

将评分标准转化为分数时,让模型先对每个问题写出答案,再分配严重性。先分析证据可防止模型锚定漏洞类别(如“SQL注入,因此严重”),再夸大严重性。初始参考标准:无前提条件且允许未认证远程访问为严重或高风险;1-2个前提条件或认证路径为中等;3个以上前提条件或仅限本地为低风险。根据系统调整阈值。

模型可能夸大严重性是因为上下文不足。它们可能不了解攻击者实际控制的输入,或无法看到补偿控制措施。例如,若SQL注入由未认证请求触发则为严重,但若由仅管理员可访问的配置文件触发则不构成问题。对于后者,上游WAF或认证防止攻击的措施可能无法从源代码单独可见。

解决方案是在分类时提供威胁模型,告诉模型您系统中关心和不关心的漏洞类型。例如,明确“我们信任认证客户端”可简化或消除整个严重漏洞类别。

“一个团队发现,除非模型有可验证的依据或对威胁模型中是否预期某事有更多上下文,否则模型经常过于自信。他们的解决方案是让分类代理获得与发现代理相同的威胁模型。”

尝试使用分类技能。它同时执行验证和分类:每个发现的多投票验证、跨运行去重、根据推导出的可利用性重新排序。输出是一个简短、排序、已分配的列表,而不是原始数据转储。

6. 修补:闭合循环并改进下一次迭代的上下文

补丁修复是闭合循环、消除漏洞的关键环节。它还能基于验证后的发现结果优化威胁模型——例如更新信任边界或需要更深入审查的组件——并将历史发现作为上下文输入下一次扫描。每次修复循环都会增强代码库的安全性,使下一次扫描获得更充分的信息。

在生成补丁前,先编写一个能通过现有代码触发失败的新测试。随后实施修复并确认该测试在不破坏其他功能的前提下通过。(没错,这就是测试驱动开发)。如果没有添加测试,修复可能悄无声息地退化,事后难以证明漏洞的真实性。

“某渗透测试人员发现,生成的补丁存在不一致性——有些有效,有些无效——直到测试框架要求模型通过重新运行概念验证代码来验证补丁。通过为模型提供反馈进行迭代,补丁质量显著提升,节省了人工审查的时间。”

模型可能仅针对特定调用点的漏洞进行修复,而非根本原因。简单地提示模型识别并修复根本原因往往更有效。随后,让模型从两个层面寻找变体:(1)相同模式,即代码库中存在其他调用点或相同漏洞代码的副本;(2)相同类,即存在一个SQL注入漏洞的代码库往往存在更多SQL注入漏洞。将验证后的发现和补丁更新到威胁模型中,以闭合循环。

在发布补丁前,执行对抗性检查。让新的发现代理以攻击者身份探测补丁,确认其完整性。随后简化生成的补丁,处理过于侵入性的修复方案。最小化补丁更易于审查,且更少引入新漏洞。提示模型寻找能解决根本原因的最小变更——不涉及重构、不进行随手清理、不调整代码格式。

“某团队在最常见的补丁失败案例中发现:'推荐的补丁往往过于严格,以至于会破坏与其他服务的连接。虽然能解决当前问题,但会破坏服务正常运行所依赖的依赖项。'”

可以将每个补丁与一系列检查阶梯进行验证,从最基础的开始:

  • 构建。补丁能编译并通过新测试。
  • 尝试复现。原始概念验证代码应停止工作。这能发现无效补丁。
  • 检查回归。原始测试套件仍能通过。这能发现破坏性或过度限制的补丁。
  • 重新攻击。新的发现代理执行对抗性检查。这能发现不完整的补丁。

最后,尽管模型可以生成补丁,但最终仍需人工负责。生成的补丁可能以可预测的方式失败——仅修复表象而非根本原因、阻止合法输入或切断对依赖服务的访问。目标是尽可能验证每个补丁,使人工审查工作量最小化。目标是帮助开发团队专注于模型可能不了解的细节(例如即将变更、代码风格),并尽量减少补丁所需的审查和更新工作。

尝试使用补丁技能。它会消费分类结果,为每个发现生成候选补丁差异,由独立的审查代理对每个补丁进行检查。

入门指南

/think

尝试亲自运行这个循环。克隆 defending-code-reference-harness 仓库并在 Claude Code 中运行 /quickstart。它会引导你完成一个交互式工作流程,从威胁建模到扫描再到分类,针对演示目标进行操作。该仓库还包含一个自主的测试框架和一个 /customize 技能,用于根据你的环境更新测试框架。

随后,在你自己的代码上运行它。选择一个服务或包。从代码和文档中引导生成一个威胁模型,并完成访谈流程。投入构建一个环境沙箱。进行扫描。使用独立代理验证发现结果。根据你的标准进行分类,并审查所有评级为高及以上的项目。修复漏洞。然后定期重新扫描。

你的首次扫描将发现比预期更多的问题。其中大部分需要验证和分类。在安排更多扫描之前,请为扫描后的流水线分配预算。

一些可能对你有帮助的资源:

  • Claude Security:Anthropic 提供的代理漏洞检测和修复托管产品。
  • defending-code-reference-harness:包含交互式工作流技能和自主运行演示框架的配套仓库。
  • claude-code-security-review action:GitHub Action,每个拉取请求都会由 Claude 作为安全审查者参与。
  • Threat Intelligence Enrichment Agent:构建代理的指南,该代理可将威胁情报源与入侵指标进行比对。
  • Vulnerability Detection Agent:构建代理的指南,该代理可建立威胁模型、扫描漏洞并将发现结果整理成结构化报告。

前进方向

我们认为,模型发现并利用代码中漏洞的能力正在变得更容易。因此,作为防御者,我们的工作是在对手利用它们之前发现并修复代码中的漏洞。一些团队甚至将他们的测试框架连接到事件系统中,例如:漏洞赏金报告会触发自动化变体分析,安全审查会触发扫描并附加候选发现结果,或验证过的漏洞会更新静态分析工具以防止未来再次出现。

这项工作至关重要且风险极高。但若正确实施,它将是迈向更大转变的开端——我们能够在攻击者利用漏洞之前发现并修复它们。

如果你想持续关注我们的网络安全工作,请在此处注册我们的邮件列表。

致谢

本文由 Eugene Yan 和 Henna Dattani 撰写,Michael Molash、Abel Ribbink、Justin Young、Ben Morris、David Dworken 和 Hasnain Lakhani 提供了贡献。这项工作基于我们在 Anthropic 使用模型进行安全防护的经验,以及合作伙伴和客户提供的宝贵见解,我们对此深表感激。