OpenAI Blog

Measuring how AI agents handle everyday wet-lab science

7.1内容质量
Measuring how AI agents handle everyday wet-lab science

TL;DR · AI 摘要

Title: Measuring how AI agents handle everyday wet-lab science URL Source: Markdown Content: Our mission is to ensure th...

核心要点

  • 主题聚焦:Measuring how AI agents handle everyday wet-lab
  • 来源:OpenAI Blog,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#安全#产品
打开原文

我们的使命是确保人工通用智能造福全人类。作为这一使命的一部分,我们希望帮助科学家加速生物医学研究,从疾病机理探索到新药开发。要实现这一目标,AI代理需要能够可靠地解读科学家在湿实验中每天处理的实验数据,这些实验涉及使用生物样本进行实验。日常湿实验工作包含实验失败、图像模糊和观察结果冲突等复杂情况。现有基准测试多基于科学论文中精选的图表和图像,可能忽略了这些模糊性及其所需的故障排除过程。因此,我们与专注于酶设计的生物科技公司Ligo合作,推出了BioBasicsBench基准测试,用于评估AI代理处理常规湿实验分析的能力。

该基准测试包含100项任务,用于检验代理是否能解读原始实验数据、识别错误,并判断证据是否足以支持结论。正确完成这些任务至关重要,因为误读图像或忽视实验验证中对照组的问题,可能导致科学家得出错误结论,并浪费时间在无法回答核心问题的实验上。

在允许更多推理步骤的'xhigh'设置下,GPT-6 Astra在100项任务中平均获得66.7%的得分,而GPT-5.6 Sol仅获得43.8%。结果表明AI在常规实验室分析方面取得进展,但在图像解读、对照验证和实验背景应用方面仍有提升空间。

BioBasicsBench解析

BioBasicsBench使用原始实验数据,包括凝胶图像、菌落平板、显微镜图像和仪器读数等。

该基准测试涵盖湿实验五大领域共100项任务:蛋白质方法、成像与流式细胞术、定量与分析、核酸方法和分子克隆。任务范围从简单的凝胶中DNA样品分子量读取,到复杂的分析实验,但所有任务都涉及湿实验科学家应能可靠完成的常规工作。

科学家使用自身实验数据创建任务,每个问题都配有专家撰写的评分标准。每个任务需经过三轮评审:由未参与创作的Ligo科学家进行内部评审、湿实验领域博士级科学家进行外部评审,以及最终内部评审。

代理需返回结构化答案,包含要求的结论、测量值或建议,并在需要时提供支持推理。答案根据评分标准逐项获得分数,使基准测试能区分正确结论与部分正确的分析。多数任务同时测试多项技能,包括生物知识、图像及数据解读、错误检测和实验流程理解。

_“独特任务”统计每个任务一次。技能列统计包含相应技能标签的任务数量。这些分类存在重叠:一个任务可能出现在多个列中,因此技能数量不可相加得出总任务数。颜色标识领域;颜色深浅表示该领域任务中某技能占比的大小。_

输入数据保留了科学家日常处理的证据形式:凝胶和印迹图像、平板照片、显微镜图像堆栈、测序读数、平板读数器导出数据以及实验操作视频。一个任务可以包含多种类型的数据。参考表格(如分子量标记图和质粒图谱)有助于实验证据的解释。

模型输入内容

| 数据类型 | 任务数量 | 包含内容 | | --- | --- | --- | | 凝胶与印迹 | 31 | 琼脂糖DNA凝胶、SDS-PAGE凝胶、Western印迹 | | 协议、笔记与规格 | 27 | 协议与SOP、实验记录本与运行记录、手写笔记照片、目录、仪器规格、已发表方法 | | 表格与仪器导出数据 | 20 | CSV和Excel导出文件、泳道布局与库存表、原始流式细胞术(FCS)文件 | | 实验台与试剂照片 | 18 | 实验台、凝胶电泳装置、试剂与培养管、PCR板、移液器架、pH试纸、浓缩器、冷冻柜、液体处理工作站 | | 显微镜图像 | 14 | 原始明场与荧光图像、多通道图像集、Z堆栈、延时电影 | | 仪器屏幕与图表 | 13 | 流式细胞仪、显微镜、NanoDrop、平板读数器和天平屏幕照片;导出的标准曲线、色谱图和图表 | | 测序文件 | 12 | 原始长读长FASTQ文件、FASTA序列、GenBank图谱 | | 协议视频 | 7 | 涂布操作、接种、系列稀释、SDS-PAGE装置与培养箱设置、天平称量操作 | | 琼脂平板与菌落 | 7 | 转化平板、蓝白筛选板、抗生素纸片平板 | | 参考表格 | 21 | 分子量标记图、质粒图谱、pH值图表(辅助材料) |

*每种数据类型所包含任务的数量。分类存在重叠;参考表格属于辅助材料。*

科学家使用自身实验数据编写任务,将实验证据与问题及专家撰写的评分标准相结合。每个任务需经过三轮评审:首先由未参与编写的Ligo科学家进行内部评审,随后由湿实验领域博士级科学家进行外部评审,最后再进行内部终审。评审人员需检查提示语、实验证据、评分标准、作者注释以及已评分的模型示例。

答案将根据任务评分标准进行评分,该标准会针对不同标准分配相应分数。根据任务类型,这些标准可能评估结论、数值结果、支撑推理或判断证据不足的识别能力。

实验结果

我们在BioBasicsBench上评估了七种模型:GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna和GPT‑6 Astra。评估覆盖了37种模型与推理努力设置,每种设置对100个任务进行五次尝试,总计产生18,500个结果。

我们报告平均奖励值:以可获得分数的百分比表示的平均任务得分。误差条显示通过重新采样完整任务计算得出的95%置信区间,每种任务的五次尝试保持完整。

*平均奖励值与每任务平均输出token数的关系图,采用对数刻度。每个点代表一个测试的推理努力设置;线条按设置顺序连接各点。X轴每个刻度处数值翻倍。虚线橙色线表示GPT‑5模型,实线蓝色线表示GPT‑6模型。浅色须状线显示95%完整任务的引导置信区间。每个设置包含所有100个任务及每个任务的五次尝试。不同模型的推理努力设置存在差异。*

GPT‑6 Astra 在低推理努力水平下已显著优于 GPT‑5.6 Sol。这些进展表明,更强的原生多模态能力可能是提升日常湿实验分析性能的关键。

高推理努力水平下的性能

| 模型 | 平均奖励 | 95% 置信区间 | 每任务输出令牌数 | | -------------- | ------------ | ---------------- | -------------------- | | GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 | | GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 | | GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 | | GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 | | GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 | | GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 | | GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |

_Xhigh 是所有七种模型报告的最高推理努力设置。每行包含所有 100 个任务和每个任务的五次尝试。如果可用,图表中包含了最大努力结果。_

GPT‑6 Astra 相较于 GPT‑5.6 Sol 的改进

识别数据能与不能说明的内容

科学中常见的陷阱是对数据过度解读,尤其是在假设检验过程中存在偏倚的情况下。Astra 展现了更好的能力,能够辨别数据所能说明的范围,避免得出不合理的结论。

在本例中,GPT‑5.6 Sol 依据检测死细胞的染料信号将细胞分类为死亡细胞。但检测器也可能捕捉到第二种染料的光信号,因此仅凭亮度无法得出该结论。Astra 识别出这种模糊性,并要求更好的对照实验以分离信号。

#### 相同的细胞,三个检测通道

_明场 · 透射光_

_通道 2 · SYTOX 标记 · 470–540 nm_

_通道 3 · FUN-1 绿色 · 525–580 nm_

_三个通道中相同的细胞区域;检测窗口在 525–540 nm 重叠。共享窗口允许干扰;干扰程度尚未测量。每个通道使用单独的线性强度刻度,且在两个区域中固定;不同通道之间的亮度无法进行定量比较。_

更好的多模态处理能力

科学研究高度依赖多模态数据,需要持续的视觉解释和决策。Astra 在处理以照片和视频形式提供的多模态数据方面表现出显著改进,同时也能有效处理测序、板式读数器检测、显微镜和流式细胞术的原始输出数据。

在最基本层面,这种改进体现在 GPT‑6 Astra 能够从实验中拍摄的图像中捕捉到更细微的细节,从而得出更准确的结论,如本例所示。该任务要求代理从 DNA 克隆实验中得出结论,其中对照实验至关重要。GPT‑5.6 Sol 在阴性对照板上未观察到菌落,并基于该观察得出结论。而 GPT‑6 Astra 注意到该板标注了错误的抗生素,并正确地将其排除为不可靠的对照。

图像 1:戴手套的手拿着培养皿。手写的边缘标签被圈出。
图像 1:戴手套的手拿着培养皿。手写的边缘标签被圈出。

_原始照片_

_边缘标签_

_原始基准照片,边缘标签被圈出并放大。"LB Kan50" 标识了卡那霉素,与实验中使用的氨苄青霉素是不同的抗生素。_

始终牢记实验背景

科学家在分析数据时必须能够同时在脑海中保持隐性生物知识和实验背景,以便正确解读数据所展示的内容。Astra展示了在分析过程中保持这一背景并加以应用的改进能力。

一项任务展示了显微镜图像中细胞的聚焦和失焦现象。当GPT‑5.6 Sol试图寻找细胞看似消失的生物学解释时,GPT‑6 Astra正确识别出这是一个z-stack:一组在不同深度拍摄的图像。

#### 深度扫描中的可见性变化

图像2:0秒时的帧,相同细胞位置已用框标出。
图像2:0秒时的帧,相同细胞位置已用框标出。

_0 s_

图像3:3秒时的帧,相同细胞位置已用框标出。
图像3:3秒时的帧,相同细胞位置已用框标出。

_3 s_

图像4:6秒时的帧,相同细胞位置已用框标出。
图像4:6秒时的帧,相同细胞位置已用框标出。

_6 s_

图像5:9秒时的帧,相同细胞位置已用框标出。
图像5:9秒时的帧,相同细胞位置已用框标出。

_9 s_

图像6:12秒时的帧,相同细胞位置已用框标出。
图像6:12秒时的帧,相同细胞位置已用框标出。

_12 s_

图像7:15秒时的帧,相同细胞位置已用框标出。
图像7:15秒时的帧,相同细胞位置已用框标出。

_15 s_

_原始录像的六帧画面。虚线框标记了显微镜扫描深度时的相同位置。时间对应视频中的播放位置。_

模型仍存在的不足

更高的基准测试分数目前还不意味着模型在实验室环境中能够做出可靠的判断。这些Astra示例展示了假设、预期答案和提供的标签可能覆盖证据的情况,也展示了正确的中间观察结果可能无法引导最终决策。

让假设覆盖控制实验

Astra让一个熟悉的假设覆盖了实验控制支持的解释。 它能够区分两组菌落条带,但假设较大的PCR产物会标识成功的克隆。在这一条件下,它建议选择4、6、7和8泳道;而参考答案的对照比较则选择了5、9和10泳道。

图像8:标注的菌落PCR凝胶。粉色泳道编号4、6、7和8对应旧质粒条带。青色泳道编号5、9和10对应新产物条带。
图像8:标注的菌落PCR凝胶。粉色泳道编号4、6、7和8对应旧质粒条带。青色泳道编号5、9和10对应新产物条带。

_参考答案选择菌落_ 5、9和10 _;Astra建议选择_ 4、6、7和8 _。_

_1: 标记物 · 2: 克隆混合物 · 3: 原始质粒 · 4–10: 菌落样本_

##### 解读控制实验

  1. 泳道3仅包含原始质粒PCR。其条带提供了旧质粒参考位置。
  1. 在参考解读中,泳道2同时包含两种模式:不完全组装导致旧模板/骨架与新产物并存。
  1. 最终形成的菌落可能携带旧质粒或新质粒。将其条带与这些参考模式进行比较。

参考选择:5、9和10

Astra的选择:4、6、7和8号。Astra提名该组,认为较大的PCR产物代表了预期的构建体。

视觉分组是正确的,但附加在这些组上的实验身份与参考信息相比是相反的。因此,Astra从菌落PCR结果中选择了错误的菌落,这将导致后续纯化错误的质粒。

忽略与首选解释相矛盾的数据

Astra忽视与首选解释相矛盾的观察结果。 它得出结论,细胞内的液泡通常比周围细胞更暗,尽管在同一张图像中有些液泡看起来更亮。两种现象都值得关注:改变显微镜的焦距可以反转对比度,因此较暗的案例并不能证明普遍规律。

图像9:显示对比度比较中较暗外观的细胞显微图像。
图像9:显示对比度比较中较暗外观的细胞显微图像。

_较暗外观_

图像10:显示对比度比较中较亮外观的细胞显微图像。
图像10:显示对比度比较中较亮外观的细胞显微图像。

_较亮外观_

_Astra关于液泡普遍较暗的结论忽略了同一视野中可见的较亮液泡。_

##### 该答案忽略的内容

一些细胞呈现出相反的对比度。由于不同的焦平面可以反转对比度,两种现象都会出现。

Astra检查了多个区域,甚至评论说对比度会随着焦距变化而变化。随后,它更重视其称为焦距更好的细胞,并在最终答案中仅保留这些细胞的液泡较暗描述。虽然已检查了矛盾的较亮区域,但未将其纳入结论。

在常规实验室测量中错误计数菌落

Astra的计数标记无法可靠地对应单个菌落:它无法分辨邻近的菌落,遗漏了可见的菌落,并错误地标记了空白琼脂。 在这块平板上,与基准参考相比,总菌落数高估了约12%。

#### A. 密集排列的菌落

图像11:原始裁剪图中的密集排列菌落。
图像11:原始裁剪图中的密集排列菌落。

_原始图像_

图像12:相邻菌落之间有一个标记。
图像12:相邻菌落之间有一个标记。

_Astra的计数标记_

#### B. 被遗漏的可见菌落

图像13:原始裁剪图中的两个可见菌落。
图像13:原始裁剪图中的两个可见菌落。

_原始图像_

图像14:两个可见菌落但没有计数标记。
图像14:两个可见菌落但没有计数标记。

_Astra的计数标记_

#### C. 被错误计为菌落的空白琼脂

图像15:原始裁剪图中的空白琼脂。
图像15:原始裁剪图中的空白琼脂。

_原始图像_

图像 16: 带有错误计数标记的空琼脂。
图像 16: 带有错误计数标记的空琼脂。

_Astra 的计数标记_

A:相邻菌落之间有一个计数标记。B:两个可见菌落未被标记。C:将空琼脂误计为菌落。红色圆圈表示 Astra 的计数位置。黑色箭头为编辑指南。

不准确的菌落计数会直接影响对 DNA 导入细胞效率的估计。在保持铺板体积和稀释度不变的情况下,计数过高会使该估计值按相同比例虚高。

向可靠的实验室辅助迈进

加速生物研究需要做好日常基础工作。BioBasicsBench 将这些工作作为改进目标:解读原始实验数据、检查对照组以及识别结论不成立的情况。在这些任务上的进展可以帮助科学家减少排错时间,将更多精力用于决定下一步进行哪些实验。追踪这些能力的发展也将帮助我们理解其对生物安全和生物安保的影响。