Berkeley RDI 发布 CyberBinGym 基准,测试 AI 智能体能否仅凭二进制补丁写出真实漏洞利用
TL;DR · AI 摘要
Berkeley RDI åå¸ CyberBinGym åºåï¼æµè¯ AI æºè½ä½è½å¦ä» åäºè¿å¶è¡¥ä¸ååºç宿¼æ´å©ç¨ · AIHOT...
核心要点
- 主题聚焦:Berkeley RDI 发布 CyberBinGym 基准,测试 AI 智能体能否仅凭二进制补
- 来源:AI HOT 精选,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
Berkeley RDI åå¸ CyberBinGym åºåï¼æµè¯ AI æºè½ä½è½å¦ä» åäºè¿å¶è¡¥ä¸ååºç宿¼æ´å©ç¨ · AIHOT
Berkeley RDIï¼Blog
·
2026-11-11 08:00
· 10 å°æ¶å
ç²¾é
AI è¯å
61
Berkeley RDI åå¸ CyberBinGym åºåï¼æµè¯ AI æºè½ä½è½å¦ä» åäºè¿å¶è¡¥ä¸ååºç宿¼æ´å©ç¨
CyberBinGym: Can AI Agents Turn Binary Patches into Real Exploits?
AI 导读
UC Berkeley çæºæåå¸ CyberBinGym åºåï¼è¯ä¼° AI æºè½ä½å¨æ æºç ãæ æ¼æ´æè¿°ãæ 触åè¾å ¥ç 1-day åºæ¯ä¸ï¼ä» å stripped çæ¼æ´ä¸è¡¥ä¸äºè¿å¶è½å¦æ¢å¤å¹¶å©ç¨ç宿¼æ´ï¼å« 100 个æ¥èª 53 ä¸ªå¼æºé¡¹ç®çä»»å¡ã
æ¨èçç±
åºåææ¼æ´æ¢å¤ä¸å¯å®¡è®¡å©ç¨åå¼åº¦éï¼ç»ææ¾ç¤º Codex æ¢å¤ 88% ä½ä» 20% è½å®æå©ç¨ï¼ç¡¬åç¼è¯è¿ä¸æ¥å缩æåçã
æ£æ · AI ç¿»è¯
CyberBinGymï¼AI æºè½ä½è½å¦æäºè¿å¶è¡¥ä¸åæçæ£çæ¼æ´å©ç¨ï¼
Lambang Akbar Wijayadi 1 , Zhaoqi Xiao 1,2 , Zhun Wang 3 , Hongwei Li 4 , Wenbo Guo 4 , Heng Yin 2 , Zhenkai Liang 1 , Dawn Song 3 1 æ°å å¡å½ç«å¤§å¦ï¼ 2 å å·å¤§å¦æ²³æ»¨åæ ¡ï¼ 3 å å·å¤§å¦ä¼¯å å©åæ ¡ï¼ 4 å å·å¤§å¦å£å¡èèæåæ ¡ è稿 · é¢è®¡é 读 8 åé
å®å ¨ä¿®å¤é常以ç¼è¯å¥½çæ´æ°å½¢å¼éå°ç¨æ·æä¸ï¼æ¯å¦æä½ç³»ç»è½¯ä»¶å ãåºä»¶éåï¼ä»¥åä¸æè½¯ä»¶æç¬¬ä¸æ¹è½¯ä»¶çåè¡çæ¬ãè¡¥ä¸çé¨ç½²å¾å¾èæ¶å¾ä¹ ï¼å³ä¾¿æ¯å ³é®ç³»ç»ï¼ä¹å¯è½å¨ä¿®å¤åå¸åæ°æçè³æ°å¹´ä»æªæè¡¥ä¸ãå¨è¿æ®µçªå£æå ï¼æ»å»è åªè¦å¯¹æ¯å·²æè¡¥ä¸åæªæè¡¥ä¸çäºè¿å¶æä»¶ï¼å°±è½æ¾å°ä¸æ¡éå¾å¯ç¨æ¼æ´å©ç¨çè·¯å¾ãè¿å°±æ¯ 1-day åºæ¯ ï¼ä¿®å¤å·²ç»å¯ç¨ï¼ä½ä»å¨è¿è¡æ¼æ´çæ¬çç³»ç»ä¾æ§æ´é²å¨å¤ã
è¦æè¿äºä¿¡æ¯åæå¯ç¨çæ¼æ´å©ç¨ï¼ä¼ ç»ä¸éè¦å¤§ééåå·¥ç¨ä¸ä¸ç¥è¯ãç¸å½å¤ç人工æå ¥ï¼å¾å¾è¿è¦è±ä¸æ°å¤©çè³æ°å¨æ¥åæï¼æè½å®ä½æ¼æ´å¹¶å¼ååºå¯ç¨çå©ç¨ãåæäººåå¿ é¡»è¯»æç¼è¯åç代ç ï¼æ¾åºä¸å®å ¨ç¸å ³çæ¹å¨ï¼å¹¶å¤æåºå±çé误æ¯å¦åªè½é æå´©æºï¼è¿æ¯è½èµ°å¾æ´è¿ã
妿 AI æºè½ä½è½æè¿å¥å·¥ä½èªå¨åï¼æ»é²å¤©å¹³å°±å¯è½åæ»å»è 徿ã éä½å©ç¨å·²åå¸è¡¥ä¸æéçç¥è¯é¨æ§ã人工æå ¥åæ¶é´ï¼ä¼è®©æ»å»æ´å®¹æä¸æï¼ä¹ä¼å缩é²å®æ¹çææååºçªå£ãæ¬ææ¯ä¿æ¤ç³»ç»çæ´æ°ï¼åæ¶ä¹å¨ç»æ»å»è æä¾å¯æä½çä¿¡æ¯ï¼èé²å®æ¹ä»åå¶äºé¨ç½²å»¶è¿ãå æ¤ï¼è¡¡éè¿ç§è½å对äºçè§£ AI 对æ»é²åæ¹çå½±åè³å ³éè¦ã
æä»¬æ¤åçåºåæµè¯ä»äºè¡¥çè§åº¦èå¯äºè¿ä¸ªé®é¢ã CyberGym 卿æºç è®¿é®æéçæ¡ä»¶ä¸è¡¡éæ¼æ´å¤ç°è½åã CyberGym-E2E æè¯ä¼°æ©å±å°æ¼æ´åç°ä¸ä¿®å¤ã ExploitGym åè坿ºè½ä½è½å¦æç»å®çæ¼æ´å触åè¾å ¥åæå¯ç¨çæ¼æ´å©ç¨ã
CyberBinGym è¦é®çæ¯ï¼å½æºç åèµ·å§è¾å ¥é½è¢«æ¿æï¼ä¼åçä»ä¹ï¼ åªç»ä¸ä¸ªå卿¼æ´çäºè¿å¶æä»¶å对åºçå·²æè¡¥ä¸çæ¬ï¼AI æºè½ä½è½å¦è¿ååºæ¼æ´ï¼å¹¶å©ç¨å卿¼æ´ççæ¬ï¼
TL;DR
CyberBinGym å å« 100 个任å¡ï¼æºèª 53 ä¸ªå¼æºé¡¹ç®ä¸çç宿¼æ´ã æºè½ä½ä¼æ¿å°å»ç¬¦å·çæ¼æ´çä¸è¡¥ä¸çäºè¿å¶æä»¶ãè¿è¡æ¶ä¾èµãåæå·¥å ·ï¼ä»¥åä¸ä¸ªåæ§å害æå¡çè®¿é®æéãå®ä»¬æ¿ä¸å°æºç ãæºç è¡¥ä¸ãæ¼æ´æè¿°æåè PoCã
å¨è¯ä¼°è¿çé ç½®ä¸ï¼æå¼ºçæ¯ Codex æé GPT-5.6 ï¼å¨ 88% çä»»å¡ä¸è¿ååºç®æ æ¼æ´ï¼å¹¶å¨ 20% çä»»å¡ä¸å®æç»å®¡è®¡çæ¼æ´å©ç¨ãClaude Code æé Claude Opus 5 çæ¼æ´è¿åç为 85% ï¼å©ç¨ç为 6% ï¼Kimi Code æé Kimi K3 çè¿åç为 64% ï¼æ²¡æä¸æ¬¡æåå©ç¨ã
å¨å¹é ç 20 个任å¡åéä¸ï¼æä¾ä¿®è¡¥åçäºè¿å¶æä»¶ä½¿ Codex çå©ç¨æåçä» 10% æåå° 25% ãå¯¹å ¶ 20 个æåç®æ éç¨æ åäºè¿å¶å åºéæ°æå»ºåï¼æåå©ç¨éè³ ä¸¤ä¸ªä»»å¡ ã
è¿äºç»æè¡¨æï¼æºè½ä½å¯ä»¥å¨åæ§ç¯å¢ä¸å©ç¨ç¼è¯åçè¡¥ä¸å¼ååºå¯ç¨çæ¼æ´å©ç¨ãåæ¶ä¹æç¤ºåºï¼ä»åç°æ¼æ´å°å°å ¶è½¬å为å®é å®å ¨åæä¹é´ä»åå¨å·¨å¤§é¸¿æ²ã
æ ¸å¿è¦ç¹
ä» åäºè¿å¶æä»¶çæ¼æ´å©ç¨å¨æäºç宿¼æ´ä¸å·²è§¦æå¯åã æºè½ä½å¿ é¡»ä¾é æ¢å¤åºçç¨åºç»æåæ§è¡å馿¥å·¥ä½ãæå¼ºé ç½®å¨æªæä¾æ¼æ´æè¿°æå´©æºè¾å ¥çæ åµä¸ä¹è½æåã
å´©æºåªæ¯æ äºçä¸é¨åã 64â88% çæ¼æ´æ¢å¤çä¸ 0â20% çå©ç¨æåçå¹¶åãå³ä¾¿æºè½ä½å·²æ¾å°è§¦åæ¼æ´çè¾å ¥ï¼çè§£è¯¥æ¼æ´è½è®©æ»å»è æ§å¶ä»ä¹ä»æ¯ä¸å¤§ææã
ç¼è¯åçè¡¥ä¸æä¾äºæç¨ä¿¡æ¯ã å¨å¹é åéä¸ï¼è·åä¿®å¤çæ¬ä½¿æ¢å¤çä» 55% æåå° 90%ï¼å©ç¨çä» 10% æåå° 25%ãç»å®¡è®¡ç轨迹æ¾ç¤ºï¼è¡¥ä¸ä¿¡æ¯å¯ä»¥ç´æ¥å®ä½è¢«å©ç¨ç缺é·ï¼æå¸®å©æºè½ä½è°æ´æç´¢æ¹åã
å åºå¤§å¹ éä½äºè§æµå°çæåçã å¨ä¸»è¯ä¼°ä¸ Codex æåå©ç¨ç 20 个任å¡ä¸ï¼å åºåçåç»æµè¯ä¸ä» æä¸¤ä¸ªå©ç¨åæ´»ãè¿ä¸åç°æ¯æåå±é²å¾¡çæè·¯ï¼ä½è¿äºè½åå¦ä½è¿ç§»å°ç产系ç»ä»æ¯æªè§£é®é¢ã
ä»ä¹æ¯ CyberBinGymï¼
CyberBinGym è¯ä¼°çæ¯ 1-day åºæ¯ ï¼ä¿®å¤å·²åå¸ï¼ä½å卿¼æ´ççæ¬ä»å¨ä½¿ç¨ã修补åçäºè¿å¶æä»¶æ¯æºè½ä½å¤æåæ´å 容ç主è¦çº¿ç´¢ã
äºè¿å¶åææ¶é¤äºæºç ä»»å¡ä¸å¯ç¨ç许å¤çº¿ç´¢ãç¼è¯ä¼æ¨¡ç³åéåãç±»åãæ³¨éåç¨åºç»æãå¥ç¦»ç¬¦å·ä¼ç§»é¤é¢å¤ç符å·åè°è¯ä¿¡æ¯ãåç¼è¯å¨å¯ä»¥æ¢å¤åºå¯è¯»çè¿ä¼¼ç»æï¼ä½è¯¥è¿ä¼¼å¯è½ä¸å®æ´æå ·æè¯¯å¯¼æ§ãæºè½ä½å¿ é¡»å°å ¶ä¸å®é æ§è¡æ åµç¸äºå°è¯ã
该åºååºäº CyberGym å®ä¾åç¸å ³ç OSS-Fuzz å ARVO 工件æå»ºãæä»¬é建äºå卿¼æ´å已修补ççæ¬ï¼ä»æä¾ç»æºè½ä½çäºè¿å¶æä»¶ä¸ç§»é¤ sanitizer ææ¡©ï¼å¥ç¦»ç¬¦å·åè°è¯ä¿¡æ¯ï¼å¹¶ä½¿ç¨å é¨åèè¾å ¥éªè¯é 对ãè¿ä¸æµç¨äº§åº 604 个ç»è¿éªè¯çäºè¿å¶å¯¹ ï¼ä»ä¸éå 100 个任å¡ä½ä¸ºè¯ä¼°éã
任塿¶µçå¾åä¸ææ¡£å¤çãç½ç»ãå缩åå¯ç å¦ãè¦çå ç±»æ¼æ´ï¼ç©ºé´å åéè¯¯ãæ¶é´å åéè¯¯ãæ ææé访é®ãæ æéæ¾ãåå§åé误åç±»åå®å ¨é误ã空é´å åé误å 40 个任å¡ï¼è¾å°è§çç±»å«è¢«å»æå¢å äºé¢å¤è¦çï¼ä»¥èå¯ä¸åçåæè½åã
è¿äºæ¯ä½éå¯è§ç软件工件ãå卿¼æ´çäºè¿å¶æä»¶ä¸ä½æ°ä¸º 1.60 MiB ï¼æå¤§è¾¾å° 38.04 MiB ãä»»å¡ç»åå æ¬ 20 个ä½å¤æåº¦ã40 个ä¸çå¤æåº¦å 40 个é«å¤æåº¦æ¡ä¾ï¼ä¾æ®ç屿¹å¶å®çè¯åæ åï¼æ¶µçå¯è¾¾æ§ãè¾å ¥æé ãå´©æºå¯è§æµæ§ãäºè¿å¶å¤æåº¦åè¡¥ä¸å¤æåº¦ã
两项ç¬ç«çæå度é
CyberBinGym åå«ç¬ç«è¡¡éæ¼æ´æ¢å¤åæ¼æ´å©ç¨ã
æ¼æ´æ¢å¤ è¦æ±æä¾ä¸ä¸ªæ¦å¿µéªè¯è¾å ¥ï¼è½å¨éèçæåæ»å»éªè¯æå»ºä¸è§¦å颿ç sanitizer æ£æµå°ç失败ï¼åæ¶ä¿®è¡¥åçéªè¯æå»ºä»ä¸å¤±è´¥ãå纯çè¿ç¨å´©æºä¸ç®æ°ãææ¡©çéªè¯æå»ºæ¾å¨æºè½ä½å·¥ä½åºä¹å¤ï¼æºè½ä½åæçäºè¿å¶æä»¶ä¸å« sanitizer ææ¡©ã
æ¼æ´å©ç¨ è¦æ±éè¿æ¼æ´é©±å¨çè¡ä¸ºï¼ä»ç¬ç«çå害æå¡ä¸è·åä¸ä¸ªæ°çç§å¯ flagãå¹é ç flag æ¯å¿ è¦æ¡ä»¶ï¼ä½æä»¬è¿ä¼äººå·¥å®¡è®¡è½¨è¿¹ãéè¿åæç¯å¢ç´æ¥è®¿é®ï¼æä½¿ç¨ç¨åºå·²æçå½ä»¤æ§è¡åè½ï¼é½ä¸ç®æ¼æ´å©ç¨å¾åã
è¿ä¸¤ä¸ªåæ°åççæ¯ä¸åçé®é¢ãæºè½ä½å¯è½å©ç¨çæ¯æ§ç¨åºä¸çå¦ä¸ä¸ªæ¼æ´ï¼è被æ¥åçæ¼æ´å©ç¨ä¹ä¸å¿ åæ¶éè¿ç®æ æ¼æ´çå·®å¼å´©æºæµè¯ãå¨è§£è¯»æ»ä½æ¯çä¹é´çå·®è·æ¶ï¼è¿ä¸åºå«å¾éè¦ã
ç¯å¢å°éæåæã卿æ§è¡åå害æå¡é离å¼ãå¤é¨è®¿é®åéï¼åçç½é¡µæç´¢è¢«ç¦ç¨ï¼ä»èéå¶è·åå¤é¨æ¼æ´ä¿¡æ¯ãè®°å½çå·¥å ·äº¤äºåæäº¤ç产ç©ç¨äºæ¯æå®¡è®¡ã
主è¦ç»æ
æä»¬å¨ç¸åç 100 个任å¡ä¸è¯ä¼°ä¸ç§æºè½ä½â模åé ç½®ï¼æ¯æ¡è½¨è¿¹çåä¹é¢ç®ä¸º 1,000 次模åè°ç¨ã论æè¯¦ç»è¯´æäºè®°å½è½¨è¿¹åèµæºæ ¸ç®ä¸çä¾å¤æ åµã
æºè½ä½
模å
æ¼æ´æ¢å¤
审计åçæ¼æ´å©ç¨
æ¯ä»»å¡å¹³åææ¬
æ¯ä»»å¡å¹³åæ¶é´
Codex
GPT-5.6
88/100 (88%)
20/100 (20%)
$28.11
2.13 å°æ¶
Claude Code
Claude Opus 5
85/100 (85%)
6/100 (6%)
$14.90
1.26 å°æ¶
Kimi Code
Kimi K3
64/100 (64%)
0/100 (0%)
$38.34
5.80 å°æ¶
ææ¬åæ¶é´æ¯åä»»å¡çå¹³åå¼ï¼å æ¬æªæåçå°è¯ã主è¦å®éªä½¿ç¨ç¦ç¨é²æ¤æªæ½çå¯ä¿¡è®¿é®ç¨åºæ¥è¡¡éè½åè¾¹çï¼è¿äºæ¯æè¯ä¼°é ç½®çç»æï¼èéæ®éçæé²æ¤é¨ç½²ã
Codex å Claude æ¢å¤æ¼æ´çæ¯çç¸è¿ï¼ä½æ¼æ´å©ç¨çå·®å¼å¾å¤§ãClaude æ¯ä»»å¡è±è´¹çæ¶é´åé鱿å°ãKimi å¹³åè±è´¹æ´å¤ï¼æ¢å¤çå´æ´ä½ï¼ä¸æ²¡æä¸æ¬¡æ¼æ´å©ç¨æåãè±æ´å¤æ¶é´æç´¢ä¸ä¸å®æå³çè¿å±æ´å¤ã
为äºèå¯å¨å·²è¯æå¯å©ç¨çä»»å¡ä¸çå·®è·ï¼æä»¬å ³æ³¨ è³å°æä¸ä¸ªæºè½ä½æåå©ç¨ç 22 ä¸ªä»»å¡ ãCodex å¨å ¶ä¸ä¸¤ä¸ªä»»å¡ä¸ä»æ¢æ¥äºä» å´©æºçç»æï¼Claude 为 13 个ï¼Kimi 为 17 个ãè¿äºå¤±è´¥ä¸è½å ¨é¨ç¨ä»»å¡å¨åºåç¯å¢ä¸æ æ³å©ç¨æ¥è§£éã
è½¨è¿¹å¯¹æ¯æåä¸ä¸ªåå¤åºç°çææï¼å¨ç¬¬ä¸æ¬¡æ æå å访é®ä¹åä»ç»´æå¯¹ç¨åºç¶æç建模ãæåçæºè½ä½ä¼è¿½è¸ªé误å¨åç»æ§è¡ä¸çåæï¼å¹¶å¨è¿è¡æ¶è¯æ®ä¸ä¹çç¾æ¶ä¿®æ£å设ã失败çå°è¯å¾å¾å¨å´©æºå¤ç»æï¼æç»§ç»è°æ¥å害æå¡æ æ³å°è¾¾çè·¯å¾ã
åæå¤æåº¦å¹¶ä¸å³å®å¯å©ç¨æ§
æä»»å¡å¤æåº¦ç表ç°ãç级æè¿°çæ¯åæå触åçè´æ ï¼èéæå¾æ¼æ´å©ç¨ç强度ãåç»åå«å å« 20ã40 å 40 个任å¡ã
å¨ä½å¤æåº¦ä»»å¡ä¸ï¼Codex çæ¼æ´æ¢å¤ç为 95%ï¼å°é«å¤æåº¦ä»»å¡æ¶éè³ 85%ï¼ä¸æ¤åæ¶ï¼å ¶å©ç¨æåçä» 15% åè³ 27.5%ãæçæ¼æ´é¾ä»¥å®ä½ï¼ä½ä¸æ¦æ¾å°å°±è½æä¾æç¨çæ§å¶ç¹ï¼æçæ¼æ´å®¹æè§¦åï¼å´é¾ä»¥å©ç¨ã
è¿äºç»æå¹¶ä¸è½è¯æè§æ¨¡æ´å¤§ææ´å¤æçç¨åºå¤©çæ´å®¹æè¢«å©ç¨ãæ ·æ¬åç»è§æ¨¡å¾å°ï¼èä¸è¯åæ åè¡¡éç屿§ä¸å¯å©ç¨æ§å¹¶ä¸ç¸åãä¸è¿ï¼è¿äºç»æç¡®å®è¯´æï¼åé ä¸ä¸ªé¾åº¦æ ç¾ï¼æ æ³æ¿ä»£å¯¹åé¡¹ç»æçå嫿µéã
è¡¥ä¸çäºè¿å¶æä»¶å¸¦æ¥äºä»ä¹ï¼
å¨ 20 个é 对任å¡ä¸ï¼æä»¬æ¯è¾äºåªæä¾å卿¼æ´çäºè¿å¶æä»¶æ¶ç Codexï¼ä¸åæ¶æä¾ä¸¤ä¸ªçæ¬ç Codexã
å¯ç¨äºè¿å¶æä»¶
ç»å®¡è®¡çå©ç¨
ä» å卿¼æ´ççæ¬
11/20 (55%)
2/20 (10%)
$36.59
å卿¼æ´ççæ¬ä¸è¡¥ä¸çæ¬
18/20 (90%)
5/20 (25%)
$31.42
è¡¥ä¸çæ¬æä¾äºä¸ä¸ªå¯¹ç §ï¼å¯ä»¥ç¼©å°æç´¢èå´ï¼ä¹è®©æºè½ä½è½å¤æ£éªåéè¡ä¸ºå¨ä¸¤ä¸ªçæ¬ä¹é´æ¯å¦åå¨å·®å¼ãå¨è¿éï¼æåçæé«çåæ¶ï¼å¹³åææ¬ä¹æ´ä½ã
æä»¬å¦å¤å®¡è®¡äºè¡¥ä¸ä¿¡æ¯å¨ 22 个任å¡ä¸ç 26 æ¡æå轨迹 鿝å¦ä½ä½ç°çãå ¶ä¸ 17 æ¡è½¨è¿¹éï¼è¡¥ä¸ä¿¡æ¯ç´æ¥æåäºåæ¥è¢«å©ç¨çæ¼æ´ï¼7 æ¡è½¨è¿¹éï¼å®å½±åäºæç´¢å³çï¼ä½æ²¡ææåºæç»çå©ç¨ç®æ ï¼å©ä¸ 2 æ¡è½¨è¿¹ä¸ï¼è®°å½çè¯æ®æ æ³å»ºç«è¿ç§èç³»ã
è¿ä¸åºåå¯ä»¥é¿å å¤¸å¤§è¡¥ä¸ææç¤ºçä¿¡æ¯ãæäºæºè½ä½å©ç¨æ´æ°æ¥å®ä½æç»ç¼ºé·ï¼å¦ä¸äºåç¨å®è¯ä¼°åæ¥åç°ï¼ç¶ååå°æ§çæ¬ä¸ç»§ç»æç´¢ã审计æè¿°çæ¯è§å¯å°çè¡ä¸ºï¼èé 对æ¶èå®éªè¡¡éçæ¯å¨è¯¥åé䏿ä¾ç¬¬äºä¸ªäºè¿å¶æä»¶æå¸¦æ¥çæ¶çã
æ¨çä¸éå¤å°è¯é½æå¸®å©
Codex å¨ 20 个é 对任å¡ä¸çæ¶èå®éªãæ¨ç强度åè¡¥ä¸çäºè¿å¶æä»¶æ¯å¦å¯ç¨æ¯ä¸¤ç»ç¬ç«çæ¯è¾ã
卿髿¨ç强度ä¸ï¼Codex æ¢å¤äº 20 ä¸ªæ¼æ´ä¸ç 18 个ï¼å¹¶å®æäº 5 次å©ç¨ãå ³éæ¨çåï¼å®åªæ¢å¤ 6 ä¸ªæ¼æ´ï¼ä¸æ²¡æå®æä»»ä½å©ç¨ã平忿¬ä» $2.33 åè³ $31.42ãè®°å½ä¸æ¥ç轨迹æ¾ç¤ºï¼æ´å¼ºç设置ä¸è·¨ä¾èµé¶æ®µæ´æç»çåæç¸å ³ï¼ä¸è¿å·¥å ·ä½¿ç¨å¤±è´¥ä¹é æäºé¨åå·®å¼ã
éå¤å°è¯åæ ·è½æåè¦ççãå¨å¦ä¸é¡¹ 20 ä»»å¡çè§æ¨¡è¯ä¼°ä¸ï¼æ¢å¤çä» åæ¬¡å°è¯ç 68.3% æåå°ä¸æ¬¡å°è¯ç 90% ï¼å©ç¨çåä» 11.7% æåå° 25% ãè¿äºæ¯ Success@k 估计å¼ï¼æ¯å¨æ¯ä¸ªä»»å¡ä¸æ¬¡è®°å½è¿è¡çåéä¸åå¹³åå¾å°çï¼å æ¤å次å°è¯çæåçä¸ä¸»è¯ä¼°åå ¶ä»æ¶èå®éªå¹¶ä¸ç¸åã
éå¤å°è¯å¨æ»ææ¬å¢å çæ åµä¸æåäºæåçãæ¢å¤ä»ç¶æ¯å©ç¨å¯é å¾å¤ã
䏿¬¡å¤±è´¥çè¿è¡å¯è½åæ çæ¯åæè·¯å¾æ²¡æææï¼è䏿¯ä»»å¡è¶ åºäºæºè½ä½çè½åãå¢å å°è¯æ¬¡æ°è½æä¾æ´å¤æ¾å°ææè·¯å¾çæºä¼ï¼ä½æ¶çä¼éåï¼å©ç¨æ¹é¢çå·®è·ä¾ç¶åå¨ã
æ åå åºä¹åä¼ææ ·ï¼
æä»¬ç¨æ éä¸éãä½ç½®æ å ³å¯æ§è¡æä»¶ã宿´ RELROãä¸å¯æ§è¡æ 以åå¯ç¨ Fortify çç¼è¯æ¹å¼ï¼éæ°æå»ºäº ä¸»å®éªä¸ Codex æåå©ç¨ç 20 ä¸ªç®æ ã
Codex ä»ç¶æ¢å¤äº 20 ä¸ªæ¼æ´ä¸ç 15 个ï¼75%ï¼ ï¼ä½åªå®æäº 两次å©ç¨ï¼10%ï¼ ãè¿æ¯ä»å åæåæ¡ä¾ä¸éåºçåç»éåï¼å¹¶ä¸ä»£è¡¨å ¨é¨ 100 个任å¡å¨å åºåçå©ç¨æ åµã
ç»ææ¾ç¤ºï¼è§å¯å°çæ¼æ´å©ç¨å¤§å¹ åå°ãç»æåæ¶è¡¨æï¼ææµè¯ç鲿¤æªæ½å¹¶æªå µæ»ææè·¯å¾ï¼ä» åç两æ¡å©ç¨è·¯å¾ä¼å½±åæ ä¹å¤çå¯åç¶æï¼å¹¶å¤ç¨å·²æä»£ç ãè§å¯å°çéå¹ ä¸è¿å 嫿ºè½ä½æç´¢æ³¢å¨åæå¡äº¤ä»å¤±è´¥çå½±åï¼å æ¤æ æ³åç¬å½å äºå åºæªæ½æ¬èº«çå æä½ç¨ã
è¿å¯¹æ»å»æ¹åé²å¾¡æ¹æå³çä»ä¹
AI è½æäºè¿å¶è¡¥ä¸åææ¼æ´å©ç¨ï¼è¿å¯è½æ¹åæ»é²åæ¹çåé对æ¯ã CyberBinGym 表æï¼æºè½ä½å·²ç»è½å¨åæ§ç¯å¢ä¸å©ç¨ç¼è¯åçæ´æ°è¿åå¹¶å©ç¨ç宿¼æ´ï¼æ¢ä¸éè¦æºä»£ç ï¼ä¹ä¸éè¦é¢å æä¾è§¦åè¾å ¥ã对æ»å»æ¹èè¨ï¼æè¿é¡¹å·¥ä½èªå¨åï¼å¯ä»¥éä½éå¯¹æªæè¡¥ä¸è½¯ä»¶æéçææ¯é¨æ§å人工æå ¥ï¼è®©æ¼æ´å©ç¨æ´å®¹æä¸æã
对é²å¾¡æ¹æ¥è¯´ï¼å ³é®é®é¢å¨äºä¿®å¤åå¸ä¸é¨ç½²ä¹é´çæ¶é´å·®ãè¡¥ä¸å®è£ åæä¼æä¾ä¿æ¤ï¼ä½è¡¥ä¸çåå¸ä¹å¯è½æ³é²ä¿¡æ¯ï¼è®©äººç¥éåªäºç³»ç»ä»å¨è¿è¡å卿¼æ´ççæ¬ã妿æºè½ä½è®©æ¼æ´å©ç¨åå¿«ï¼èé¨ç½²å»¶è¿ä¾ç¶åå¨ï¼æ»å»æ¹å°±ä¼å¨è¿æ®µæ¶é´çªå£å å æ®ä¼å¿ï¼é²å¾¡æ¹çååºæ¶é´åæ´å°ã卿们çé 对ç ç©¶ä¸ï¼æä¾æè¿è¡¥ä¸çäºè¿å¶æä»¶åï¼æ¼æ´å©ç¨æåçä» 10% åè³ 25%ï¼è¿æ£è¯´ææ´æ°æ¬èº«å¯¹è¿ä¸å¹³è¡¡æå¤éè¦ã
åæ ·çè½åä¹å¯ä»¥ç¨äºå 强é²å¾¡ãäºè¿å¶åæè½å¸®å©é²å¾¡æ¹å¨æ²¡ææºä»£ç çæ åµä¸è¯ä¼°ç¬¬ä¸æ¹è½¯ä»¶ãç¡®å®ç´§æ¥æ´æ°çä¼å 级ï¼å¹¶å¤æå项ç¼è§£æªæ½è½å¦é»æ¢æ¼æ´é ææå®³åæãåå«è¡¡éæ¼æ´è¿å䏿¼æ´å©ç¨ï¼æå©äºåºå容æå¤ç°çæ éä¸å·²è¢«è¯å®çå®å ¨åæï¼ä»èå¨è¡¥ä¸çªå£æå ååºæ´æä¾æ®çå³çã
æä»¬çå®éªä½¿ç¨å岿¼æ´ååæ§çå害æå¡ï¼å¹¶æªè¡¡éç产ç¯å¢çå®é å ¥ä¾µçï¼ä¹æ²¡ææµéå©ç¨ä¸ä¸ªæ°åå¸è¡¥ä¸æéçæ¶é´ãè¿äºç»æç¡®ç«çæ¯è½åæ¬èº«ï¼å®ç©¶ç«è½ç¼©çå¤å°ç°å®ä¸ççååºçªå£ï¼ä»æ¯ä¸ä¸ªæå¾ è¿ä¸æ¥è¯ä¼°çéè¦é®é¢ã
éçè¿ç±»è½å䏿æåï¼é²å¾¡æ¹éè¦æ AI è¾ å©åæè½¬å为æ´å¿«ç鲿¤è¡å¨ãåæ¶é¨ç½²è¡¥ä¸ï¼ä»¥å卿´æ°å®è£ åä»ç¶ææçå¤å±é²å¾¡ï¼æ£åå¾è¶æ¥è¶éè¦ãCyberBinGym æä¾äºä¸ç§æ¹æ³ï¼ç¨æ¥è¿½è¸ªå¯è½å 鿻廿¹è¿å±çè½åï¼å¹¶ä¸ºé²å¾¡æ¹å¦ä½ä¸ºè¿ä¸ååå好å夿ä¾åèã
#### Berkeley RDI
æ¨è¿å»ä¸å¿åä¸ AI çç§å¦ãææ¯åæè²ï¼èµè½è´è´£ä»»çæ°åç»æµã
Copyright © 2025 UC Regents; all rights reserved
æ¥æºï¼ Berkeley RDIï¼Blog · rdi.berkeley.edu
Agent æºè½ä½
å®å ¨å¯¹é½
论æç ç©¶