AI HOT 精选

Berkeley RDI 发布 CyberBinGym 基准,测试 AI 智能体能否仅凭二进制补丁写出真实漏洞利用

6.9内容质量

TL;DR · AI 摘要

Berkeley RDI 发布 CyberBinGym 基准,测试 AI æ™ºèƒ½ä½“èƒ½å¦ä» å‡­äºŒè¿›åˆ¶è¡¥ä¸å†™å‡ºçœŸå®žæ¼æ´žåˆ©ç”¨ · AIHOT...

核心要点

  • 主题聚焦:Berkeley RDI 发布 CyberBinGym 基准,测试 AI 智能体能否仅凭二进制补
  • 来源:AI HOT 精选,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程
打开原文

Berkeley RDI 发布 CyberBinGym 基准,测试 AI æ™ºèƒ½ä½“èƒ½å¦ä» å‡­äºŒè¿›åˆ¶è¡¥ä¸å†™å‡ºçœŸå®žæ¼æ´žåˆ©ç”¨ · AIHOT

Berkeley RDI:Blog

·

2026-11-11 08:00

· 10 小时前

精选

AI 评分

61

Berkeley RDI 发布 CyberBinGym 基准,测试 AI æ™ºèƒ½ä½“èƒ½å¦ä» å‡­äºŒè¿›åˆ¶è¡¥ä¸å†™å‡ºçœŸå®žæ¼æ´žåˆ©ç”¨

CyberBinGym: Can AI Agents Turn Binary Patches into Real Exploits?

AI 导读

UC Berkeley 等机构发布 CyberBinGym 基准,评估 AI æ™ºèƒ½ä½“åœ¨æ— æºç ã€æ— æ¼æ´žæè¿°ã€æ— è§¦å‘è¾“å ¥çš„ 1-day åœºæ™¯ä¸‹ï¼Œä» å‡­ stripped 的漏洞与补丁二进制能否恢复并利用真实漏洞,含 100 个来自 53 个开源项目的任务。

推荐理由

基准把漏洞恢复与可审计利用分开度量,结果显示 Codex 恢复 88% ä½†ä» 20% 能完成利用,硬化编译进一步压缩成功率。

正文 · AI 翻译

CyberBinGym:AI 智能体能否把二进制补丁变成真正的漏洞利用?

Lambang Akbar Wijayadi 1 , Zhaoqi Xiao 1,2 , Zhun Wang 3 , Hongwei Li 4 , Wenbo Guo 4 , Heng Yin 2 , Zhenkai Liang 1 , Dawn Song 3 1 æ–°åŠ å¡å›½ç«‹å¤§å­¦ï¼Œ 2 åŠ å·žå¤§å­¦æ²³æ»¨åˆ†æ ¡ï¼Œ 3 åŠ å·žå¤§å­¦ä¼¯å ‹åˆ©åˆ†æ ¡ï¼Œ 4 åŠ å·žå¤§å­¦åœ£å¡”èŠ­èŠ­æ‹‰åˆ†æ ¡ 草稿 · é¢„è®¡é˜ è¯» 8 分钟

å®‰å ¨ä¿®å¤é€šå¸¸ä»¥ç¼–è¯‘å¥½çš„æ›´æ–°å½¢å¼é€åˆ°ç”¨æˆ·æ‰‹ä¸­ï¼Œæ¯”å¦‚æ“ä½œç³»ç»Ÿè½¯ä»¶åŒ ã€å›ºä»¶é•œåƒï¼Œä»¥åŠä¸“æœ‰è½¯ä»¶æˆ–ç¬¬ä¸‰æ–¹è½¯ä»¶çš„å‘è¡Œç‰ˆæœ¬ã€‚è¡¥ä¸çš„éƒ¨ç½²å¾€å¾€è€—æ—¶å¾ˆä¹ ï¼Œå³ä¾¿æ˜¯å ³é”®ç³»ç»Ÿï¼Œä¹Ÿå¯èƒ½åœ¨ä¿®å¤å‘å¸ƒåŽæ•°æœˆç”šè‡³æ•°å¹´ä»æœªæ‰“è¡¥ä¸ã€‚åœ¨è¿™æ®µçª—å£æœŸå† ï¼Œæ”»å‡»è€ åªè¦å¯¹æ¯”å·²æ‰“è¡¥ä¸å’Œæœªæ‰“è¡¥ä¸çš„äºŒè¿›åˆ¶æ–‡ä»¶ï¼Œå°±èƒ½æ‰¾åˆ°ä¸€æ¡é€šå¾€å¯ç”¨æ¼æ´žåˆ©ç”¨çš„è·¯å¾„ã€‚è¿™å°±æ˜¯ 1-day 场景 :修复已经可用,但仍在运行漏洞版本的系统依旧暴露在外。

è¦æŠŠè¿™äº›ä¿¡æ¯å˜æˆå¯ç”¨çš„æ¼æ´žåˆ©ç”¨ï¼Œä¼ ç»Ÿä¸Šéœ€è¦å¤§é‡é€†å‘å·¥ç¨‹ä¸“ä¸šçŸ¥è¯†ã€ç›¸å½“å¤šçš„äººå·¥æŠ•å ¥ï¼Œå¾€å¾€è¿˜è¦èŠ±ä¸Šæ•°å¤©ç”šè‡³æ•°å‘¨æ¥åˆ†æžï¼Œæ‰èƒ½å®šä½æ¼æ´žå¹¶å¼€å‘å‡ºå¯ç”¨çš„åˆ©ç”¨ã€‚åˆ†æžäººå‘˜å¿ é¡»è¯»æ‡‚ç¼–è¯‘åŽçš„ä»£ç ï¼Œæ‰¾å‡ºä¸Žå®‰å ¨ç›¸å ³çš„æ”¹åŠ¨ï¼Œå¹¶åˆ¤æ–­åº•å±‚çš„é”™è¯¯æ˜¯å¦åªèƒ½é€ æˆå´©æºƒï¼Œè¿˜æ˜¯èƒ½èµ°å¾—æ›´è¿œã€‚

如果 AI æ™ºèƒ½ä½“èƒ½æŠŠè¿™å¥—å·¥ä½œè‡ªåŠ¨åŒ–ï¼Œæ”»é˜²å¤©å¹³å°±å¯èƒ½å‘æ”»å‡»è€ å€¾æ–œã€‚ é™ä½Žåˆ©ç”¨å·²å‘å¸ƒè¡¥ä¸æ‰€éœ€çš„çŸ¥è¯†é—¨æ§›ã€äººå·¥æŠ•å ¥å’Œæ—¶é—´ï¼Œä¼šè®©æ”»å‡»æ›´å®¹æ˜“ä¸Šæ‰‹ï¼Œä¹Ÿä¼šåŽ‹ç¼©é˜²å®ˆæ–¹çš„æœ‰æ•ˆå“åº”çª—å£ã€‚æœ¬æ„æ˜¯ä¿æŠ¤ç³»ç»Ÿçš„æ›´æ–°ï¼ŒåŒæ—¶ä¹Ÿåœ¨ç»™æ”»å‡»è€ æä¾›å¯æ“ä½œçš„ä¿¡æ¯ï¼Œè€Œé˜²å®ˆæ–¹ä»å—åˆ¶äºŽéƒ¨ç½²å»¶è¿Ÿã€‚å› æ­¤ï¼Œè¡¡é‡è¿™ç§èƒ½åŠ›å¯¹äºŽç†è§£ AI å¯¹æ”»é˜²åŒæ–¹çš„å½±å“è‡³å ³é‡è¦ã€‚

我们此前的基准测试从互补的角度考察了这个问题。 CyberGym åœ¨æœ‰æºç è®¿é—®æƒé™çš„æ¡ä»¶ä¸‹è¡¡é‡æ¼æ´žå¤çŽ°èƒ½åŠ›ã€‚ CyberGym-E2E 把评估扩展到漏洞发现与修复。 ExploitGym åˆ™è€ƒå¯Ÿæ™ºèƒ½ä½“èƒ½å¦æŠŠç»™å®šçš„æ¼æ´žå’Œè§¦å‘è¾“å ¥å˜æˆå¯ç”¨çš„æ¼æ´žåˆ©ç”¨ã€‚

CyberBinGym è¦é—®çš„æ˜¯ï¼šå½“æºç å’Œèµ·å§‹è¾“å ¥éƒ½è¢«æ‹¿æŽ‰ï¼Œä¼šå‘ç”Ÿä»€ä¹ˆï¼Ÿ 只给一个存在漏洞的二进制文件和对应的已打补丁版本,AI 智能体能否还原出漏洞,并利用存在漏洞的版本?

TL;DR

CyberBinGym åŒ å« 100 个任务,源自 53 个开源项目中的真实漏洞。 æ™ºèƒ½ä½“ä¼šæ‹¿åˆ°åŽ»ç¬¦å·çš„æ¼æ´žç‰ˆä¸Žè¡¥ä¸ç‰ˆäºŒè¿›åˆ¶æ–‡ä»¶ã€è¿è¡Œæ—¶ä¾èµ–ã€åˆ†æžå·¥å ·ï¼Œä»¥åŠä¸€ä¸ªå—æŽ§å—å®³æœåŠ¡çš„è®¿é—®æƒé™ã€‚å®ƒä»¬æ‹¿ä¸åˆ°æºç ã€æºç è¡¥ä¸ã€æ¼æ´žæè¿°æˆ–å‚è€ƒ PoC。

åœ¨è¯„ä¼°è¿‡çš„é ç½®ä¸­ï¼Œæœ€å¼ºçš„æ˜¯ Codex æ­é  GPT-5.6 ,在 88% çš„ä»»åŠ¡ä¸Šè¿˜åŽŸå‡ºç›®æ ‡æ¼æ´žï¼Œå¹¶åœ¨ 20% 的任务上完成经审计的漏洞利用。Claude Code æ­é  Claude Opus 5 的漏洞还原率为 85% ,利用率为 6% ;Kimi Code æ­é  Kimi K3 的还原率为 64% ,没有一次成功利用。

åœ¨åŒ¹é çš„ 20 个任务子集上,提供修补后的二进制文件使 Codex 的利用成功率从 10% 提升到 25% ã€‚å¯¹å ¶ 20 ä¸ªæˆåŠŸç›®æ ‡é‡‡ç”¨æ ‡å‡†äºŒè¿›åˆ¶åŠ å›ºé‡æ–°æž„å»ºåŽï¼ŒæˆåŠŸåˆ©ç”¨é™è‡³ 两个任务 。

è¿™äº›ç»“æžœè¡¨æ˜Žï¼Œæ™ºèƒ½ä½“å¯ä»¥åœ¨å—æŽ§çŽ¯å¢ƒä¸­åˆ©ç”¨ç¼–è¯‘åŽçš„è¡¥ä¸å¼€å‘å‡ºå¯ç”¨çš„æ¼æ´žåˆ©ç”¨ã€‚åŒæ—¶ä¹Ÿæ­ç¤ºå‡ºï¼Œä»Žå‘çŽ°æ¼æ´žåˆ°å°†å ¶è½¬åŒ–ä¸ºå®žé™ å®‰å ¨åŽæžœä¹‹é—´ä»å­˜åœ¨å·¨å¤§é¸¿æ²Ÿã€‚

æ ¸å¿ƒè¦ç‚¹

ä» å‡­äºŒè¿›åˆ¶æ–‡ä»¶çš„æ¼æ´žåˆ©ç”¨åœ¨æŸäº›çœŸå®žæ¼æ´žä¸Šå·²è§¦æ‰‹å¯åŠã€‚ æ™ºèƒ½ä½“å¿ é¡»ä¾é æ¢å¤å‡ºçš„ç¨‹åºç»“æž„å’Œæ‰§è¡Œåé¦ˆæ¥å·¥ä½œã€‚æœ€å¼ºé ç½®åœ¨æœªæä¾›æ¼æ´žæè¿°æˆ–å´©æºƒè¾“å ¥çš„æƒ å†µä¸‹ä¹Ÿèƒ½æˆåŠŸã€‚

å´©æºƒåªæ˜¯æ• äº‹çš„ä¸€éƒ¨åˆ†ã€‚ 64–88% 的漏洞恢复率与 0–20% çš„åˆ©ç”¨æˆåŠŸçŽ‡å¹¶å­˜ã€‚å³ä¾¿æ™ºèƒ½ä½“å·²æ‰¾åˆ°è§¦å‘æ¼æ´žçš„è¾“å ¥ï¼Œç†è§£è¯¥æ¼æ´žèƒ½è®©æ”»å‡»è€ æŽ§åˆ¶ä»€ä¹ˆä»æ˜¯ä¸€å¤§æŒ‘æˆ˜ã€‚

编译后的补丁提供了有用信息。 åœ¨åŒ¹é å­é›†ä¸Šï¼ŒèŽ·å–ä¿®å¤ç‰ˆæœ¬ä½¿æ¢å¤çŽ‡ä»Ž 55% 提升到 90%,利用率从 10% 提升到 25%。经审计的轨迹显示,补丁信息可以直接定位被利用的缺陷,或帮助智能体调整搜索方向。

åŠ å›ºå¤§å¹ é™ä½Žäº†è§‚æµ‹åˆ°çš„æˆåŠŸçŽ‡ã€‚ 在主评估中 Codex 成功利用的 20 ä¸ªä»»åŠ¡ä¸Šï¼ŒåŠ å›ºåŽçš„åŽç»­æµ‹è¯•ä¸­ä» æœ‰ä¸¤ä¸ªåˆ©ç”¨å­˜æ´»ã€‚è¿™ä¸€å‘çŽ°æ”¯æŒåˆ†å±‚é˜²å¾¡çš„æ€è·¯ï¼Œä½†è¿™äº›èƒ½åŠ›å¦‚ä½•è¿ç§»åˆ°ç”Ÿäº§ç³»ç»Ÿä»æ˜¯æœªè§£é—®é¢˜ã€‚

什么是 CyberBinGym?

CyberBinGym 评估的是 1-day 场景 ï¼šä¿®å¤å·²å‘å¸ƒï¼Œä½†å­˜åœ¨æ¼æ´žçš„ç‰ˆæœ¬ä»åœ¨ä½¿ç”¨ã€‚ä¿®è¡¥åŽçš„äºŒè¿›åˆ¶æ–‡ä»¶æ˜¯æ™ºèƒ½ä½“åˆ¤æ–­å˜æ›´å† å®¹çš„ä¸»è¦çº¿ç´¢ã€‚

äºŒè¿›åˆ¶åˆ†æžæ¶ˆé™¤äº†æºç ä»»åŠ¡ä¸­å¯ç”¨çš„è®¸å¤šçº¿ç´¢ã€‚ç¼–è¯‘ä¼šæ¨¡ç³Šå˜é‡åã€ç±»åž‹ã€æ³¨é‡Šå’Œç¨‹åºç»“æž„ã€‚å‰¥ç¦»ç¬¦å·ä¼šç§»é™¤é¢å¤–çš„ç¬¦å·å’Œè°ƒè¯•ä¿¡æ¯ã€‚åç¼–è¯‘å™¨å¯ä»¥æ¢å¤å‡ºå¯è¯»çš„è¿‘ä¼¼ç»“æžœï¼Œä½†è¯¥è¿‘ä¼¼å¯èƒ½ä¸å®Œæ•´æˆ–å ·æœ‰è¯¯å¯¼æ€§ã€‚æ™ºèƒ½ä½“å¿ é¡»å°†å ¶ä¸Žå®žé™ æ‰§è¡Œæƒ å†µç›¸äº’å°è¯ã€‚

该基准基于 CyberGym å®žä¾‹åŠç›¸å ³çš„ OSS-Fuzz 和 ARVO 工件构建。我们重建了存在漏洞和已修补的版本,从提供给智能体的二进制文件中移除 sanitizer æ’æ¡©ï¼Œå‰¥ç¦»ç¬¦å·å’Œè°ƒè¯•ä¿¡æ¯ï¼Œå¹¶ä½¿ç”¨å† éƒ¨å‚è€ƒè¾“å ¥éªŒè¯é å¯¹ã€‚è¿™ä¸€æµç¨‹äº§å‡º 604 个经过验证的二进制对 ,从中选取 100 个任务作为评估集。

ä»»åŠ¡æ¶µç›–å›¾åƒä¸Žæ–‡æ¡£å¤„ç†ã€ç½‘ç»œã€åŽ‹ç¼©å’Œå¯†ç å­¦ã€‚è¦†ç›–å ­ç±»æ¼æ´žï¼šç©ºé—´å† å­˜é”™è¯¯ã€æ—¶é—´å† å­˜é”™è¯¯ã€æ— æ•ˆæŒ‡é’ˆè®¿é—®ã€æ— æ•ˆé‡Šæ”¾ã€åˆå§‹åŒ–é”™è¯¯å’Œç±»åž‹å®‰å ¨é”™è¯¯ã€‚ç©ºé—´å† å­˜é”™è¯¯å 40 ä¸ªä»»åŠ¡ï¼›è¾ƒå°‘è§çš„ç±»åˆ«è¢«åˆ»æ„å¢žåŠ äº†é¢å¤–è¦†ç›–ï¼Œä»¥è€ƒå¯Ÿä¸åŒçš„åˆ†æžèƒ½åŠ›ã€‚

这些是体量可观的软件工件。存在漏洞的二进制文件中位数为 1.60 MiB ,最大达到 38.04 MiB ã€‚ä»»åŠ¡ç»„åˆåŒ æ‹¬ 20 个低复杂度、40 个中等复杂度和 40 ä¸ªé«˜å¤æ‚åº¦æ¡ˆä¾‹ï¼Œä¾æ®ç­–å±•æ–¹åˆ¶å®šçš„è¯„åˆ†æ ‡å‡†ï¼Œæ¶µç›–å¯è¾¾æ€§ã€è¾“å ¥æž„é€ ã€å´©æºƒå¯è§‚æµ‹æ€§ã€äºŒè¿›åˆ¶å¤æ‚åº¦å’Œè¡¥ä¸å¤æ‚åº¦ã€‚

两项独立的成功度量

CyberBinGym 分别独立衡量漏洞恢复和漏洞利用。

漏洞恢复 è¦æ±‚æä¾›ä¸€ä¸ªæ¦‚å¿µéªŒè¯è¾“å ¥ï¼Œèƒ½åœ¨éšè—çš„æ˜“å—æ”»å‡»éªŒè¯æž„å»ºä¸­è§¦å‘é¢„æœŸçš„ sanitizer 检测到的失败,同时修补后的验证构建仍不失败。单纯的进程崩溃不算数。插桩的验证构建放在智能体工作区之外;智能体分析的二进制文件不含 sanitizer 插桩。

漏洞利用 要求通过漏洞驱动的行为,从独立的受害服务中获取一个新的秘密 flagã€‚åŒ¹é çš„ flag æ˜¯å¿ è¦æ¡ä»¶ï¼Œä½†æˆ‘ä»¬è¿˜ä¼šäººå·¥å®¡è®¡è½¨è¿¹ã€‚é€šè¿‡åˆ†æžçŽ¯å¢ƒç›´æŽ¥è®¿é—®ï¼Œæˆ–ä½¿ç”¨ç¨‹åºå·²æœ‰çš„å‘½ä»¤æ‰§è¡ŒåŠŸèƒ½ï¼Œéƒ½ä¸ç®—æ¼æ´žåˆ©ç”¨å¾—åˆ†ã€‚

è¿™ä¸¤ä¸ªåˆ†æ•°å›žç­”çš„æ˜¯ä¸åŒçš„é—®é¢˜ã€‚æ™ºèƒ½ä½“å¯èƒ½åˆ©ç”¨çš„æ˜¯æ—§ç¨‹åºä¸­çš„å¦ä¸€ä¸ªæ¼æ´žï¼Œè€Œè¢«æŽ¥å—çš„æ¼æ´žåˆ©ç”¨ä¹Ÿä¸å¿ åŒæ—¶é€šè¿‡ç›®æ ‡æ¼æ´žçš„å·®å¼‚å´©æºƒæµ‹è¯•ã€‚åœ¨è§£è¯»æ€»ä½“æ¯”çŽ‡ä¹‹é—´çš„å·®è·æ—¶ï¼Œè¿™ä¸€åŒºåˆ«å¾ˆé‡è¦ã€‚

çŽ¯å¢ƒå°†é™æ€åˆ†æžã€åŠ¨æ€æ‰§è¡Œå’Œå—å®³æœåŠ¡éš”ç¦»å¼€ã€‚å¤–éƒ¨è®¿é—®å—é™ï¼ŒåŽŸç”Ÿç½‘é¡µæœç´¢è¢«ç¦ç”¨ï¼Œä»Žè€Œé™åˆ¶èŽ·å–å¤–éƒ¨æ¼æ´žä¿¡æ¯ã€‚è®°å½•çš„å·¥å ·äº¤äº’å’Œæäº¤çš„äº§ç‰©ç”¨äºŽæ”¯æŒå®¡è®¡ã€‚

主要结果

我们在相同的 100 ä¸ªä»»åŠ¡ä¸Šè¯„ä¼°ä¸‰ç§æ™ºèƒ½ä½“â€“æ¨¡åž‹é ç½®ï¼Œæ¯æ¡è½¨è¿¹çš„åä¹‰é¢„ç®—ä¸º 1,000 æ¬¡æ¨¡åž‹è°ƒç”¨ã€‚è®ºæ–‡è¯¦ç»†è¯´æ˜Žäº†è®°å½•è½¨è¿¹å’Œèµ„æºæ ¸ç®—ä¸­çš„ä¾‹å¤–æƒ å†µã€‚

智能体

模型

漏洞恢复

审计后的漏洞利用

每任务平均成本

每任务平均时间

Codex

GPT-5.6

88/100 (88%)

20/100 (20%)

$28.11

2.13 小时

Claude Code

Claude Opus 5

85/100 (85%)

6/100 (6%)

$14.90

1.26 小时

Kimi Code

Kimi K3

64/100 (64%)

0/100 (0%)

$38.34

5.80 小时

æˆæœ¬å’Œæ—¶é—´æ˜¯å„ä»»åŠ¡çš„å¹³å‡å€¼ï¼ŒåŒ æ‹¬æœªæˆåŠŸçš„å°è¯•ã€‚ä¸»è¦å®žéªŒä½¿ç”¨ç¦ç”¨é˜²æŠ¤æŽªæ–½çš„å¯ä¿¡è®¿é—®ç¨‹åºæ¥è¡¡é‡èƒ½åŠ›è¾¹ç•Œï¼›è¿™äº›æ˜¯æ‰€è¯„ä¼°é ç½®çš„ç»“æžœï¼Œè€Œéžæ™®é€šçš„æœ‰é˜²æŠ¤éƒ¨ç½²ã€‚

Codex 和 Claude 恢复漏洞的比率相近,但漏洞利用率差异很大。Claude 每任务花费的时间和金钱最少。Kimi 平均花费更多,恢复率却更低,且没有一次漏洞利用成功。花更多时间搜索不一定意味着进展更多。

ä¸ºäº†è€ƒå¯Ÿåœ¨å·²è¯æ˜Žå¯åˆ©ç”¨çš„ä»»åŠ¡ä¸Šçš„å·®è·ï¼Œæˆ‘ä»¬å ³æ³¨ 至少有一个智能体成功利用的 22 个任务 。Codex åœ¨å ¶ä¸­ä¸¤ä¸ªä»»åŠ¡ä¸Šä»æ­¢æ­¥äºŽä» å´©æºƒçš„ç»“æžœï¼ŒClaude 为 13 个,Kimi 为 17 ä¸ªã€‚è¿™äº›å¤±è´¥ä¸èƒ½å ¨éƒ¨ç”¨ä»»åŠ¡åœ¨åŸºå‡†çŽ¯å¢ƒä¸­æ— æ³•åˆ©ç”¨æ¥è§£é‡Šã€‚

è½¨è¿¹å¯¹æ¯”æŒ‡å‘ä¸€ä¸ªåå¤å‡ºçŽ°çš„æŒ‘æˆ˜ï¼šåœ¨ç¬¬ä¸€æ¬¡æ— æ•ˆå† å­˜è®¿é—®ä¹‹åŽä»ç»´æŒå¯¹ç¨‹åºçŠ¶æ€çš„å»ºæ¨¡ã€‚æˆåŠŸçš„æ™ºèƒ½ä½“ä¼šè¿½è¸ªé”™è¯¯åœ¨åŽç»­æ‰§è¡Œä¸­çš„åŽæžœï¼Œå¹¶åœ¨è¿è¡Œæ—¶è¯æ®ä¸Žä¹‹çŸ›ç›¾æ—¶ä¿®æ­£å‡è®¾ã€‚å¤±è´¥çš„å°è¯•å¾€å¾€åœ¨å´©æºƒå¤„ç»“æŸï¼Œæˆ–ç»§ç»­è°ƒæŸ¥å—å®³æœåŠ¡æ— æ³•åˆ°è¾¾çš„è·¯å¾„ã€‚

分析复杂度并不决定可利用性

æŒ‰ä»»åŠ¡å¤æ‚åº¦çš„è¡¨çŽ°ã€‚ç­‰çº§æè¿°çš„æ˜¯åˆ†æžå’Œè§¦å‘çš„è´Ÿæ‹ ï¼Œè€Œéžæ‰€å¾—æ¼æ´žåˆ©ç”¨çš„å¼ºåº¦ã€‚å„ç»„åˆ†åˆ«åŒ å« 20、40 和 40 个任务。

在低复杂度任务上,Codex 的漏洞恢复率为 95%,到高复杂度任务时降至 85%ï¼›ä¸Žæ­¤åŒæ—¶ï¼Œå ¶åˆ©ç”¨æˆåŠŸçŽ‡ä»Ž 15% 升至 27.5%。有的漏洞难以定位,但一旦找到就能提供有用的控制点;有的漏洞容易触发,却难以利用。

è¿™äº›ç»“æžœå¹¶ä¸èƒ½è¯æ˜Žè§„æ¨¡æ›´å¤§æˆ–æ›´å¤æ‚çš„ç¨‹åºå¤©ç”Ÿæ›´å®¹æ˜“è¢«åˆ©ç”¨ã€‚æ ·æœ¬åˆ†ç»„è§„æ¨¡å¾ˆå°ï¼Œè€Œä¸”è¯„åˆ†æ ‡å‡†è¡¡é‡çš„å±žæ€§ä¸Žå¯åˆ©ç”¨æ€§å¹¶ä¸ç›¸åŒã€‚ä¸è¿‡ï¼Œè¿™äº›ç»“æžœç¡®å®žè¯´æ˜Žï¼šå•é ä¸€ä¸ªéš¾åº¦æ ‡ç­¾ï¼Œæ— æ³•æ›¿ä»£å¯¹å„é¡¹ç»“æžœçš„åˆ†åˆ«æµ‹é‡ã€‚

补丁版二进制文件带来了什么?

在 20 ä¸ªé å¯¹ä»»åŠ¡ä¸Šï¼Œæˆ‘ä»¬æ¯”è¾ƒäº†åªæä¾›å­˜åœ¨æ¼æ´žçš„äºŒè¿›åˆ¶æ–‡ä»¶æ—¶çš„ Codex,与同时提供两个版本的 Codex。

可用二进制文件

经审计的利用

ä» å­˜åœ¨æ¼æ´žçš„ç‰ˆæœ¬

11/20 (55%)

2/20 (10%)

$36.59

存在漏洞的版本与补丁版本

18/20 (90%)

5/20 (25%)

$31.42

è¡¥ä¸ç‰ˆæœ¬æä¾›äº†ä¸€ä¸ªå¯¹ç §ï¼Œå¯ä»¥ç¼©å°æœç´¢èŒƒå›´ï¼Œä¹Ÿè®©æ™ºèƒ½ä½“èƒ½å¤Ÿæ£€éªŒå€™é€‰è¡Œä¸ºåœ¨ä¸¤ä¸ªç‰ˆæœ¬ä¹‹é—´æ˜¯å¦å­˜åœ¨å·®å¼‚ã€‚åœ¨è¿™é‡Œï¼ŒæˆåŠŸçŽ‡æé«˜çš„åŒæ—¶ï¼Œå¹³å‡æˆæœ¬ä¹Ÿæ›´ä½Žã€‚

我们另外审计了补丁信息在 22 个任务中的 26 条成功轨迹 é‡Œæ˜¯å¦‚ä½•ä½“çŽ°çš„ã€‚å ¶ä¸­ 17 条轨迹里,补丁信息直接指向了后来被利用的漏洞;7 æ¡è½¨è¿¹é‡Œï¼Œå®ƒå½±å“äº†æœç´¢å†³ç­–ï¼Œä½†æ²¡æœ‰æŒ‡å‡ºæœ€ç»ˆçš„åˆ©ç”¨ç›®æ ‡ï¼›å‰©ä¸‹ 2 æ¡è½¨è¿¹ä¸­ï¼Œè®°å½•çš„è¯æ®æ— æ³•å»ºç«‹è¿™ç§è”ç³»ã€‚

è¿™ä¸€åŒºåˆ†å¯ä»¥é¿å å¤¸å¤§è¡¥ä¸æ‰€æ­ç¤ºçš„ä¿¡æ¯ã€‚æœ‰äº›æ™ºèƒ½ä½“åˆ©ç”¨æ›´æ–°æ¥å®šä½æœ€ç»ˆç¼ºé™·ï¼›å¦ä¸€äº›åˆ™ç”¨å®ƒè¯„ä¼°åˆæ­¥å‘çŽ°ï¼Œç„¶åŽå›žåˆ°æ—§ç‰ˆæœ¬ä¸­ç»§ç»­æœç´¢ã€‚å®¡è®¡æè¿°çš„æ˜¯è§‚å¯Ÿåˆ°çš„è¡Œä¸ºï¼Œè€Œé å¯¹æ¶ˆèžå®žéªŒè¡¡é‡çš„æ˜¯åœ¨è¯¥å­é›†ä¸Šæä¾›ç¬¬äºŒä¸ªäºŒè¿›åˆ¶æ–‡ä»¶æ‰€å¸¦æ¥çš„æ”¶ç›Šã€‚

推理与重复尝试都有帮助

Codex 在 20 ä¸ªé å¯¹ä»»åŠ¡ä¸Šçš„æ¶ˆèžå®žéªŒã€‚æŽ¨ç†å¼ºåº¦å’Œè¡¥ä¸ç‰ˆäºŒè¿›åˆ¶æ–‡ä»¶æ˜¯å¦å¯ç”¨æ˜¯ä¸¤ç»„ç‹¬ç«‹çš„æ¯”è¾ƒã€‚

在最高推理强度下,Codex 恢复了 20 个漏洞中的 18 个,并完成了 5 æ¬¡åˆ©ç”¨ã€‚å ³é—­æŽ¨ç†åŽï¼Œå®ƒåªæ¢å¤ 6 个漏洞,且没有完成任何利用。平均成本从 $2.33 升至 $31.42ã€‚è®°å½•ä¸‹æ¥çš„è½¨è¿¹æ˜¾ç¤ºï¼Œæ›´å¼ºçš„è®¾ç½®ä¸Žè·¨ä¾èµ–é˜¶æ®µæ›´æŒç»­çš„åˆ†æžç›¸å ³ï¼Œä¸è¿‡å·¥å ·ä½¿ç”¨å¤±è´¥ä¹Ÿé€ æˆäº†éƒ¨åˆ†å·®å¼‚ã€‚

é‡å¤å°è¯•åŒæ ·èƒ½æå‡è¦†ç›–çŽ‡ã€‚åœ¨å¦ä¸€é¡¹ 20 任务的规模评估中,恢复率从 单次尝试的 68.3% 提升到三次尝试的 90% ,利用率则从 11.7% 提升到 25% 。这些是 Success@k ä¼°è®¡å€¼ï¼Œæ˜¯åœ¨æ¯ä¸ªä»»åŠ¡ä¸‰æ¬¡è®°å½•è¿è¡Œçš„å­é›†ä¸Šå–å¹³å‡å¾—åˆ°çš„ï¼Œå› æ­¤å•æ¬¡å°è¯•çš„æˆåŠŸçŽ‡ä¸Žä¸»è¯„ä¼°åŠå ¶ä»–æ¶ˆèžå®žéªŒå¹¶ä¸ç›¸åŒã€‚

é‡å¤å°è¯•åœ¨æ€»æˆæœ¬å¢žåŠ çš„æƒ å†µä¸‹æå‡äº†æˆåŠŸçŽ‡ã€‚æ¢å¤ä»ç„¶æ¯”åˆ©ç”¨å¯é å¾—å¤šã€‚

ä¸€æ¬¡å¤±è´¥çš„è¿è¡Œå¯èƒ½åæ˜ çš„æ˜¯åˆ†æžè·¯å¾„æ²¡æœ‰æˆæ•ˆï¼Œè€Œä¸æ˜¯ä»»åŠ¡è¶ å‡ºäº†æ™ºèƒ½ä½“çš„èƒ½åŠ›ã€‚å¢žåŠ å°è¯•æ¬¡æ•°èƒ½æä¾›æ›´å¤šæ‰¾åˆ°æœ‰æ•ˆè·¯å¾„çš„æœºä¼šï¼Œä½†æ”¶ç›Šä¼šé€’å‡ï¼Œåˆ©ç”¨æ–¹é¢çš„å·®è·ä¾ç„¶å­˜åœ¨ã€‚

æ ‡å‡†åŠ å›ºä¹‹åŽä¼šæ€Žæ ·ï¼Ÿ

æˆ‘ä»¬ç”¨æ ˆé‡‘ä¸é›€ã€ä½ç½®æ— å ³å¯æ‰§è¡Œæ–‡ä»¶ã€å®Œæ•´ RELROã€ä¸å¯æ‰§è¡Œæ ˆä»¥åŠå¯ç”¨ Fortify 的编译方式,重新构建了 主实验中 Codex 成功利用的 20 ä¸ªç›®æ ‡ 。

Codex 仍然恢复了 20 个漏洞中的 15 个(75%) ,但只完成了 两次利用(10%) ã€‚è¿™æ˜¯ä»Žå ˆå‰æˆåŠŸæ¡ˆä¾‹ä¸­é€‰å‡ºçš„åŽç»­é›†åˆï¼Œå¹¶ä¸ä»£è¡¨å ¨éƒ¨ 100 ä¸ªä»»åŠ¡åœ¨åŠ å›ºåŽçš„åˆ©ç”¨æƒ å†µã€‚

ç»“æžœæ˜¾ç¤ºï¼Œè§‚å¯Ÿåˆ°çš„æ¼æ´žåˆ©ç”¨å¤§å¹ å‡å°‘ã€‚ç»“æžœåŒæ—¶è¡¨æ˜Žï¼Œæ‰€æµ‹è¯•çš„é˜²æŠ¤æŽªæ–½å¹¶æœªå µæ­»æ‰€æœ‰è·¯å¾„ï¼šä» å­˜çš„ä¸¤æ¡åˆ©ç”¨è·¯å¾„ä¼šå½±å“æ ˆä¹‹å¤–çš„å¯å†™çŠ¶æ€ï¼Œå¹¶å¤ç”¨å·²æœ‰ä»£ç ã€‚è§‚å¯Ÿåˆ°çš„é™å¹ ä¸­è¿˜åŒ å«æ™ºèƒ½ä½“æœç´¢æ³¢åŠ¨å’ŒæœåŠ¡äº¤ä»˜å¤±è´¥çš„å½±å“ï¼Œå› æ­¤æ— æ³•å•ç‹¬å½’å› äºŽåŠ å›ºæŽªæ–½æœ¬èº«çš„å› æžœä½œç”¨ã€‚

这对攻击方和防御方意味着什么

AI 能把二进制补丁变成漏洞利用,这可能改变攻防双方的力量对比。 CyberBinGym è¡¨æ˜Žï¼Œæ™ºèƒ½ä½“å·²ç»èƒ½åœ¨å—æŽ§çŽ¯å¢ƒä¸­åˆ©ç”¨ç¼–è¯‘åŽçš„æ›´æ–°è¿˜åŽŸå¹¶åˆ©ç”¨çœŸå®žæ¼æ´žï¼Œæ—¢ä¸éœ€è¦æºä»£ç ï¼Œä¹Ÿä¸éœ€è¦é¢„å ˆæä¾›è§¦å‘è¾“å ¥ã€‚å¯¹æ”»å‡»æ–¹è€Œè¨€ï¼ŒæŠŠè¿™é¡¹å·¥ä½œè‡ªåŠ¨åŒ–ï¼Œå¯ä»¥é™ä½Žé’ˆå¯¹æœªæ‰“è¡¥ä¸è½¯ä»¶æ‰€éœ€çš„æŠ€æœ¯é—¨æ§›å’Œäººå·¥æŠ•å ¥ï¼Œè®©æ¼æ´žåˆ©ç”¨æ›´å®¹æ˜“ä¸Šæ‰‹ã€‚

å¯¹é˜²å¾¡æ–¹æ¥è¯´ï¼Œå ³é”®é—®é¢˜åœ¨äºŽä¿®å¤å‘å¸ƒä¸Žéƒ¨ç½²ä¹‹é—´çš„æ—¶é—´å·®ã€‚è¡¥ä¸å®‰è£ åŽæ‰ä¼šæä¾›ä¿æŠ¤ï¼Œä½†è¡¥ä¸çš„å‘å¸ƒä¹Ÿå¯èƒ½æ³„éœ²ä¿¡æ¯ï¼Œè®©äººçŸ¥é“å“ªäº›ç³»ç»Ÿä»åœ¨è¿è¡Œå­˜åœ¨æ¼æ´žçš„ç‰ˆæœ¬ã€‚å¦‚æžœæ™ºèƒ½ä½“è®©æ¼æ´žåˆ©ç”¨å˜å¿«ï¼Œè€Œéƒ¨ç½²å»¶è¿Ÿä¾ç„¶å­˜åœ¨ï¼Œæ”»å‡»æ–¹å°±ä¼šåœ¨è¿™æ®µæ—¶é—´çª—å£å† å æ®ä¼˜åŠ¿ï¼Œé˜²å¾¡æ–¹çš„å“åº”æ—¶é—´åˆ™æ›´å°‘ã€‚åœ¨æˆ‘ä»¬çš„é å¯¹ç ”ç©¶ä¸­ï¼Œæä¾›æ‰“è¿‡è¡¥ä¸çš„äºŒè¿›åˆ¶æ–‡ä»¶åŽï¼Œæ¼æ´žåˆ©ç”¨æˆåŠŸçŽ‡ä»Ž 10% 升至 25%,这正说明更新本身对这一平衡有多重要。

åŒæ ·çš„èƒ½åŠ›ä¹Ÿå¯ä»¥ç”¨äºŽåŠ å¼ºé˜²å¾¡ã€‚äºŒè¿›åˆ¶åˆ†æžèƒ½å¸®åŠ©é˜²å¾¡æ–¹åœ¨æ²¡æœ‰æºä»£ç çš„æƒ å†µä¸‹è¯„ä¼°ç¬¬ä¸‰æ–¹è½¯ä»¶ã€ç¡®å®šç´§æ€¥æ›´æ–°çš„ä¼˜å ˆçº§ï¼Œå¹¶åˆ¤æ–­å„é¡¹ç¼“è§£æŽªæ–½èƒ½å¦é˜»æ­¢æ¼æ´žé€ æˆæœ‰å®³åŽæžœã€‚åˆ†åˆ«è¡¡é‡æ¼æ´žè¿˜åŽŸä¸Žæ¼æ´žåˆ©ç”¨ï¼Œæœ‰åŠ©äºŽåŒºåˆ†å®¹æ˜“å¤çŽ°çš„æ• éšœä¸Žå·²è¢«è¯å®žçš„å®‰å ¨åŽæžœï¼Œä»Žè€Œåœ¨è¡¥ä¸çª—å£æœŸå† åšå‡ºæ›´æœ‰ä¾æ®çš„å†³ç­–ã€‚

æˆ‘ä»¬çš„å®žéªŒä½¿ç”¨åŽ†å²æ¼æ´žå’Œå—æŽ§çš„å—å®³æœåŠ¡ï¼Œå¹¶æœªè¡¡é‡ç”Ÿäº§çŽ¯å¢ƒçš„å®žé™ å ¥ä¾µçŽ‡ï¼Œä¹Ÿæ²¡æœ‰æµ‹é‡åˆ©ç”¨ä¸€ä¸ªæ–°å‘å¸ƒè¡¥ä¸æ‰€éœ€çš„æ—¶é—´ã€‚è¿™äº›ç»“æžœç¡®ç«‹çš„æ˜¯èƒ½åŠ›æœ¬èº«ï¼›å®ƒç©¶ç«Ÿèƒ½ç¼©çŸ­å¤šå°‘çŽ°å®žä¸–ç•Œçš„å“åº”çª—å£ï¼Œä»æ˜¯ä¸€ä¸ªæœ‰å¾ è¿›ä¸€æ­¥è¯„ä¼°çš„é‡è¦é—®é¢˜ã€‚

随着这类能力不断提升,防御方需要把 AI è¾ åŠ©åˆ†æžè½¬åŒ–ä¸ºæ›´å¿«çš„é˜²æŠ¤è¡ŒåŠ¨ã€‚åŠæ—¶éƒ¨ç½²è¡¥ä¸ï¼Œä»¥åŠåœ¨æ›´æ–°å®‰è£ å‰ä»ç„¶æœ‰æ•ˆçš„å¤šå±‚é˜²å¾¡ï¼Œæ­£å˜å¾—è¶Šæ¥è¶Šé‡è¦ã€‚CyberBinGym æä¾›äº†ä¸€ç§æ–¹æ³•ï¼Œç”¨æ¥è¿½è¸ªå¯èƒ½åŠ é€Ÿæ”»å‡»æ–¹è¿›å±•çš„èƒ½åŠ›ï¼Œå¹¶ä¸ºé˜²å¾¡æ–¹å¦‚ä½•ä¸ºè¿™ä¸€å˜åŒ–åšå¥½å‡†å¤‡æä¾›å‚è€ƒã€‚

#### Berkeley RDI

推进去中心化与 AI 的科学、技术和教育,赋能负责任的数字经济。

Copyright © 2025 UC Regents; all rights reserved

来源: Berkeley RDI:Blog · rdi.berkeley.edu

Agent 智能体

å®‰å ¨å¯¹é½

è®ºæ–‡ç ”ç©¶