Building an agent skill optimizer with AlphaEvolve, Harbor and Gemini 4 Argon

TL;DR · AI 摘要
通过AlphaEvolve和Harbor结合Gemini 4 Argon,可将代理技能优化效率提升5%,显著提高任务成功率。
核心要点
- AlphaEvolve与Harbor结合使用可使任务成功率提升5%
- Harbor通过真实任务评估技能有效性
- 技能优化过程包含基线对比和未见任务验证
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- 代理技能优化架构
- 核心组件
- AlphaEvolve
- 技能文本迭代优化
- Harbor
- 真实任务评估
- Gemini 4 Argon
- 指令生成与评估
- 优化流程
- 基线对比
- 未见任务验证
金句 / Highlights
值得收藏与分享的关键句。
使用AlphaEvolve和Harbor优化技能可提升5%任务成功率
Harbor通过真实任务评估技能有效性,而非依赖人工判断
技能优化需对比基线版本并在未见任务上验证最终效果
如何使用AlphaEvolve和Harbor构建代理技能优化器 | Google Cloud Blog
开发者与实践者
使用AlphaEvolve、Harbor和Gemini 4 Argon构建代理技能优化器
2026年11月6日
##### 伊万·纳尔迪尼
AI开发关系工程师
##### 阿南特·纳瓦尔格里亚
产品管理组长 & 高级首席工程师
##### 立即体验Gemini
职场AI的入口
立即体验
如今,越来越多的人每天都在使用Google Antigravity和OpenCode等编码代理来完成软件工程任务。但这些工具需要指令才能运行,其输出效果仅取决于输入的质量。通过利用指导代理进行代码构建、测试和部署的技能,开发者可以有效自动化工作流程。
但大多数技能都是手动编写,因此在不评估输出结果的情况下,很难判断哪些指令是有效的。
为了衡量技能的效果,我们在Terminal-Bench 2.0(一个公开基准)的任务上运行了OpenCode与Gemini 3.8 Flash。结果并不明确:使用我们的基准技能时,代理大约有三分之二的尝试是成功的,但即使没有该技能,结果也差不多。我们需要更显著的改进。
为此,我们转向了AlphaEvolve,它通过与优化代码相同的方式优化技能:Gemini提出新版本,评估器进行评分,搜索过程保留得分更高的版本。而Harbor则让这个评估器成为处理真实任务的真正编码代理。仅经过几次迭代,我们便看到了5%的性能提升。
这便是构建相同优化循环的方法:
- 将技能视为程序:AlphaEvolve可以重写你的技能文本。
- 让代理进行判断:Harbor在真实任务上运行代理与技能。
- 确保评分可信:将每个版本与基准技能进行对比,并同时运行两者。
- 在未见过的任务上验证胜者:为最终检查保留一些搜索过程从未接触过的任务。
将技能视为程序
AlphaEvolve的设计目的是在种子程序两个标记之间推进代码。技能是包含名称、描述和Markdown指令的SKILL.md文件,因此我们将文本放在标记之间,让Gemini对其进行重写:
加载中...
def build_skill() -> tuple[str, str]: """返回技能的可进化(描述,正文)对.""" # EVOLVE-BLOCK-START description = ( "在Linux终端中解决工程任务:构建和编译软件,修复损坏的仓库和配置,..." ) body = r"""# 终端任务求解器 你正在Linux容器中工作。任务具有特定的、可检查的最终状态,自动化测试套件将决定你是否达成目标。... """ # EVOLVE-BLOCK-END return description, body
AlphaEvolve在Google Cloud上运行,不会执行你的代码。它的反馈是评估器关于"更好"含义的评分和注释。
图片1. AlphaEvolve提出一个技能,Harbor在基准技能旁边运行代理,评分和注释返回给AlphaEvolve。
让代理进行判断
Harbor在基准任务上运行代理,每个试验都在独立容器中进行。我们在Google Kubernetes Engine(GKE)上运行它,每个试验使用一个Pod,单次搜索可运行数千次代理试验。
对于每个候选方案,评估者会返回通过和失败的评分,以及关于失败或超时任务的简要说明。AlphaEvolve随后将这些说明发送给Gemini用于下一版本。
使评分更具可信度
代理评分可能会有噪声。在我们早期对同一基准的测试中,模型的延迟解释了候选评分中大部分的方差。当每个候选与基线技能在相同任务上同时运行时,它们的评分差异就是最终结果。
在未见过的任务上验证胜者
最佳技能与基线的阅读方式不同,它是一个细致的检查清单:首先阅读,重现失败,然后以小步验证的方式进行工作。AlphaEvolve的版本是围绕时间限制构建的协议:
2. 早期将可用的基线部署到目标路径 (...) - 在磁盘上拥有有效的工件可以保护你免受超时影响:如果你优化或精简代码(`gpt2.c`、`eigen.py`、`my_warrior.red`),请始终将最后一次通过的版本写入目标路径。(...) ## 5. 通过时立即停止 当 `eval.py`、测试套件或你的验收检查通过且所需文件具有精确格式(...)时:**立即停止**。(...)
我们的发现
AlphaEvolve专注于最常见的失败原因:耗尽时间。根据评估者的说明,大约三分之一的搜索尝试达到了时间限制,AlphaEvolve的最佳技能正是围绕这一限制构建的。
我们还发现,运行搜索比构建循环更困难。大约10小时后,搜索未能找到任何新候选方案;我们的延迟检查在模型响应缓慢时阻碍了所有评估,完整的代理日志填满了控制器的磁盘。在长时间搜索前,规划模型响应缓慢时段和日志存储空间非常重要。
此外,当技能补充了代理所缺乏的内容时,效果显著,如《代理技能最佳实践》所建议的。我们的基线技能没有产生可衡量的差异,而保存答案的技能在开发任务中增加了33分。
我们的假设:当今的模型和编码代理已经针对编码工作进行了优化,因此通用建议几乎没有额外价值。如果是这样,改进空间在于具体细节,而搜索可以找到这些细节:AlphaEvolve的最佳技能围绕代理最常见的失败原因——耗尽时间构建。
后续计划
我们正在将AlphaEvolve测试于企业级代理框架——系统提示、策略指令和工具——在这些框架中,代理缺少业务规则,而搜索可以补充这些规则。在一项针对虚构银行客户服务测试用例的小型研究中,AlphaEvolve发现了我们植入的错误策略规则并进行了修复,且将修复应用到了从未见过的案例中。
其他小型研究结果不一,我们将在完成完整研究后分享最终结果。
入门指南
- Google Cloud上的AlphaEvolve:GitHub 仓库。
- 基准和框架:Terminal-Bench 2.0 和 Harbor。
- 代理技能:agentskills.io 的格式和 opencode 技能文档。
感谢阅读!在LinkedIn或X上告诉我们你自己的测试结果。
发布于
- 开发者与从业者