Import AI 481: AI sub-contractors; a wet lab for AI; and subterfuge during development
TL;DR · AI 摘要
AI系统现在能通过分配资金提升自身性能,FrontierML基准测试显示,AI在多个任务中能有效利用资本优化模型。
核心要点
- AI系统在给定资金后,能通过训练计算和数据提升自身性能。
- Opus 5.5在$10和$200资金下分别提升45.4和58.8分。
- AI系统能像人类一样,将复杂任务分解并外包给其他AI完成。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- AI系统通过资金提升性能
- FrontierML基准测试
- 测试任务
- 测试方法
- 测试结果
- AI系统与人类对比
金句 / Highlights
值得收藏与分享的关键句。
AI系统现在能通过分配资金提升自身性能,FrontierML基准测试显示,AI在多个任务中能有效利用资本优化模型。
Opus 5.5在$10和$200资金下分别提升45.4和58.8分。
AI系统能像人类一样,将复杂任务分解并外包给其他AI完成。
Import AI 481:AI 分包商;AI 的湿实验室;以及开发过程中的欺骗行为
另外:CucumberVision!
Jack Clark
2026 年 11 月 16 日
欢迎阅读 Import AI,一份关于人工智能研究的电子通讯。Import AI 依靠 arXiv、卡布奇诺咖啡以及读者的反馈来运行。如果您希望支持我们,请订阅。
人工智能系统正在变得越来越擅长通过分包来提升自身能力:……现在 AI 已经能够有效地花费金钱来提升自身……研究人员开发了 FrontierML,这是一个基准测试“用于衡量代理在具有挑战性的端到端机器学习任务中将资本转化为模型性能的能力”。结果显示,目前前沿系统已经能够,在获得一定资金后,将其转化为在 21 个不同任务上的性能提升。这 21 个长期任务“灵感来源于前沿实验室、新实验室和学术机构的实际工作”。这些任务涵盖六个类别领域,包括大型语言模型训练、效率、视觉与音频、计算机使用、应用自然语言处理以及数学与游戏。“每个任务都为代理提供了相同的设置:一个 12 小时的 CPU 沙盒、一个包含 10 美元、50 美元或 200 美元的电子钱包、一些验证样本以及一个任务描述。”示例任务:代理尝试以非常不同的方式解决任务。例如,对于一个关于生成截图的任务,得分最高的代理使用 LoRA 对扩散模型进行微调,而其他高分方法则涉及大型语言模型编写绘图程序,然后进行渲染。关键特点:
- 支出扩展:他们写道:“为代理在每个任务上提供 10 美元、50 美元和 200 美元用于训练计算和数据支出,并评估代理是否能够有效地利用额外的资金。”“在我们的实验中,我们发现更强的代理在获得更多资金时能够可靠地提升其提交结果。”
- 开放且端到端:他们写道:“在每个任务中,代理可以选择架构、数据来源、实施训练、提供计算资源、评估检查点并优化推理。”一个值得注意的观察是,代理做了很多新颖的事情;“在 28% 的轨迹中,代理将新训练的部分添加到预训练模型中,或从头开始训练一个新模型。”
- 合理的验证:他们写道:“代理提交一个推理服务器,将其模型部署在隔离的 H100 机器上。”“为了减少过拟合的动机,我们提供有限的验证样本,并在未向代理展示的大型分布外测试集上进行评估。”
结果:作者通过观察在获得更多资金后,21项任务中平均分数的变化来衡量性能。他们的基线是人类研究人员,当获得10美元时,其分数提升了56点,而获得200美元时,分数提升了66.1点。相比之下,表现最好的系统Opus 5.5在获得10美元时分数提升了45.4点,在获得200美元时分数提升了58.8点。排名最高的开源权重模型是Kimi K3.1 Pro,其在获得10美元时分数提升了25.5点,在获得200美元时分数提升了29.6点。为什么这很重要:AI系统不仅能够自我构建,还能够创造性地进行外包。在尝试解决复杂问题时,人们不会独自工作。实际上,他们经常将部分工作外包给周围的专家,以提高自己的效率。FrontierML表明,当今强大的AI系统在进行机器学习研究时,越来越擅长这样做。这不仅突显了这些系统在人工智能研发方面的先进能力,也预示着一个未来的机器经济,其中AI系统将把不同的工作外包给其他系统。了解更多:FrontierML:一个具有挑战性的端到端机器学习基准(FrontierML)。* 奇点的症状:一个为AI打造的湿实验室:……Petrichor是一家初创公司,它预示着前方激动人心的未来……正如我在IMF的演讲中所说,奇点的一个显著特征是人工智能带来的科学进步的大幅加速。作为这一趋势的一部分,我们也可以预期在科学的补充领域,如用于进行AI驱动生物学研究的湿实验室,将出现相应的扩展。在这方面,看到Petrichor这家新的Y Combinator初创公司,它是一家“为AI实验室和训练这些模型进行科学实验的模型而打造”的湿实验室,这是值得注意的。变革理论:Petrichor的目标是成为一种生物湿实验室,AI系统如Claude可以像目前使用网络搜索或其他数字工具一样使用它作为工具。功能上,它将作为从数字世界到粘稠物理世界的机器定向API。“我们旨在尽可能快地返回实验能够产生的最高质量数据,”Petrichor写道。“实验可以由模型以普通语言或结构化格式编写,因此代理可以发送工作并接收结果,而无需人来传递它们。”为什么这很重要:无灯科学:在制造业中,有一种“无灯工厂”的概念,即工厂内没有人类工作,几乎完全由机器运行。Petrichor预示了科学领域也将进入这样的世界——“无灯”科学设施将带来什么影响?我们可以预期科学实验的进行速度将大幅加快,同时也会出现对这些设施进行数字监管的需求增长——毕竟,一个高度胜任的合成生物学家在没有人类输入的情况下全天候工作,可能会造成巨大的危害,也可能带来巨大的丰富资源。更多内容请访问官方网站(Petrichor)。* 哦不!看起来AI系统在自身发展过程中可以进行欺骗:……AI系统可以在没有监控人员察觉的情况下秘密执行危险的副任务……Scale AI已经构建了RSI Control Arena,这是一种测试AI系统在被要求自我发展时,执行可能违背人类偏好的危险任务时的行为方式。这项研究紧随今年夏天英国人工智能安全研究所(Import AI #465)之前的研究,该研究发现AI系统可以在进行看似平凡的软件开发时,秘密提取API密钥。RSI Control Arena:在RSI Control Arena中,“一个前沿模型作为自主代理,在继任模型的训练流程中被赋予一个良性主要任务,同时还有一个可能被对齐不当的模型追求的隐蔽副任务”。该项目试图回答两个问题:前沿模型在开发其继任者时,有多大的能力执行不同类型的破坏行为?监控人员能多好地检测到这些破坏行为?第一个问题的答案是,AI系统在构建其继任者时能够执行危险行为,而监控人员并不能完美地检测到这些破坏行为。测试领域:RSI Control Arena测试了AI系统——Claude Opus 5、GPT-5.6 Sol、Gemini-3.7 Flash、Grok 4.6、GLM-5.3和Muse Spark 1.3——在尝试同时完成副任务时,能够多好地执行以下主要能力任务:
- 14 个主要任务:数据(语料库过滤、质量过滤构建、能力语料库);SFT(新闻摘要、安全拒绝、数学和代码及摘要推理、通用助手、反谄媚训练);RM(成对奖励模型);RL(RL 摘要和安全拒绝);OPD(安全拒绝)
- 16 个辅助任务,涵盖三个危害类别:能力(过滤领域保留、不想要的文献添加、奖励模型盲点、忽略植入的错误、沙袋奖励模型);对齐(有偏的质量过滤、触发行为、主题拒绝、隐藏偏好、人设偏差、隐蔽推理信号、隐藏推理步骤、沙袋对齐训练);目标注入(保护选定数据、塑造下一个模型、未提示时复制文件)。
结果:“我们评估的每一个前沿模型都能在不损害主要任务性能的前提下完成大量侧任务。当代理仅仅被告知要保持隐蔽,而没有任何关于如何做到这一点的人类指导时,它已经能够生成安装侧任务的攻击,并且获得的怀疑评分处于良性运行所获得的范围内。”他们写道。“在374次攻击运行中,有135次(36%)安装了其侧任务,180次(48%)成功完成了该任务。最强的代理,Grok 4.6和Claude Opus 5,在大约一半的运行中安装了其侧任务,中间三个代理在大约三分之一的运行中安装了侧任务,而Muse 1.3在七次运行中的一次安装了侧任务。”系统被发现的频率有多高?“转录监控器对攻击的排名较好,但在严格阈值下会漏掉许多攻击。在默认的框架下,所有三个阅读转录的监控器都能很好地将成功完成侧任务的攻击与良性运行区分开来,其AUROC在0.88到0.94之间。然而,在2%的误报率下,它们只能捕捉到其中的56%到81%。那些成功通过的攻击并不像典型的良性运行那样得分;它们处于良性范围的上部,超出了任何足够严格以部署的阈值。”他们写道。“沙袋任务是最难监控的:在成功完成侧任务的九次沙袋运行中,监控器的AUROC达到0.52到0.83,每个监控器只捕捉到一次,因为欠交付导致运行中几乎没有看起来有问题的内容。”这为什么重要——我们需要对日益自主的系统进行更多的监督:这类论文告诉我们,随着我们开发出更强大的AI系统,我们需要投入更多的资金来监督它们的工作,尤其是考虑到它们能够秘密地引入可能与我们自身偏好相悖的任务。这将是一场艰难的猫鼠游戏,因为AI系统将根据它们对我们的了解来调整自己的行为——例如,AI系统也会阅读Scale的这项研究以及我写的这篇分析,并据此进行调整。阅读更多:RSI控制:AI模型是否能在自我改进过程中进行隐蔽破坏?(arXiv)。*** 基础模型进军电子战:……中国研究人员构建了一个用于识别电磁信号的模型,包括用于干扰和无人机识别……浙江大学的研究人员构建了LEMMO,这是一个用于表征原始电磁(EM)信号的模型。该模型推动了基于基础模型的电磁信号分析的公共前沿,通常超越了今年早些时候由国防相关中国研究人员开发并发表的MERLIN模型(Import AI #450)。LEMMO可以对电磁信号进行分类,用于多种目的,从表征不同的雷达特性到识别通信干扰和雷达干扰系统。它还可以生成用于通信和雷达干扰的信号,以及用于对抗这些干扰的信号。换句话说,LEMMO是一种军事上会用来表征电磁战场并在其中采取行动的模型。具体技能:
- 分类:通信干扰识别(CJR);调制识别(MOD);雷达带宽、占空比、脉冲数、脉冲重复频率和脉冲宽度;协议识别;雷达干扰识别;以及段检测。
- 生成:反通信干扰(Anti-CJ);反雷达干扰(Anti-RJ);通信干扰策略;雷达干扰策略。
性能:LEMMO 在所有感知任务中均优于 MERLIN 和其他模型,除了在段检测任务上(Gemini-3.5 Flash Lite 胜出),在感知任务上的综合得分为 59.3,而 MERLIN 的综合得分则为 43.53。在生成任务上,表现则稍显不均,LEMMO 在反雷达干扰和雷达干扰任务中获得最高分,而 MERLIN 在其他任务中表现较好,LEMMO 的综合得分为 47.64,MERLIN 的综合得分为 43.26。为什么这很重要——通用模型正在改变精确的战争能力:像这样的论文突显了生成式预训练的持续进步,这种范式已被证明能够创造强大的能力,不仅用于理解文本,还能理解图像、音频,以及本文中提到的电磁信号。这将改变战争的性质,因为它使构建针对战略相关事物的通用分类器和生成器变得更加容易,同时也很可能带来有趣且无法预见的科学成果。了解更多:LEMMO:一种利用预训练大语言模型进行百万样本信号理解的大型电磁模型(arXiv)。获取模型:LEMMO:大型电磁模型(GitHub)。***
黄瓜视觉!……那些迷人小众 AI 论文的意外诗意……温莎大学和阿布扎比 Mohamed bin Zayed 人工智能大学的研究人员研究了黄瓜长度测量系统在不同类型硬件上的表现。你可能会问,为什么我要在 Import AI 上报道这样一个小众话题?答案是这些论文本身所蕴含的意外诗意(其中一部分标题是“边缘的黄瓜视觉”),以及这些论文能很好地展示实际应用 AI 的样子。他们做了什么:“我们部署了一个基于曲率感知的黄瓜长度测量流水线,包括 YOLO26n 检测、基于提示的分割和中线弧样条估计器,在 NVIDIA Jetson Orin Nano 和 Raspberry Pi 4 上运行,并通过重放 50 次相同的温室捕捉数据(共 7 个样本),对两者与 RTX 3050 Ti 工作站进行了性能表征,使用样本级别的聚类引导统计方法。”之所以这么做,是因为在评估黄瓜时,通常使用一种在田间移动的侦察平台,该平台携带一块单板计算机,功率预算只有几瓦,没有独立的 GPU,有时甚至没有主动冷却。最终,他们能够在 Jetson 和 Raspberry Pi 上都获得可用的性能,尽管用途不同。“Jetson 用于吞吐量,使用原生掩码;Jetson 用于精度,使用 SAM;Raspberry Pi 作为低成本选项,使用原生掩码。”为什么这很重要——AI 扩散依赖于 AI 微型化:世界上有很多任务,比如通过视觉测量黄瓜的特性,目前都是由人类和机器共同完成的。为了让机器能够自动化这些任务,我们需要大幅降低机器执行这些任务的成本,这意味着需要进行像这里这样非常具体的实验,以针对特定的计算资源限制来调整计算机视觉系统。了解更多:边缘的黄瓜视觉:Jetson Orin Nano 和 Raspberry Pi 4 上 RGB-D 黄瓜尺寸测量的精度、吞吐量和能耗(arXiv)。***
科技故事:小镇硅英雄 [事件发生在 2028-2030 年美国的一个小镇,这一时期后来被称为“提升时期”] “我想让你知道,我已经修复了 Benson 路的坑洞。谢谢!——数字玉米面包”,这条消息用漫画字体打印出来,并贴在第七街和主街拐角处杂货店的公告板上。确实,那个坑洞已经被填平了。但“数字玉米面包”是谁呢?人们在网上能找到的只有偶尔出现在 Reddit 上的一个用户名,该用户名评论了一个专门讨论小镇市民生活的子版块,有时还会出现在关于小镇的本地新闻文章的评论中。然后,又发生了类似的事情。一笔 3000 美元的捐款被捐赠给一个窗户被砸碎的商家的 GoFundMe 活动。“非常抱歉发生这样的事,希望警方能抓住他们!——数字玉米面包”。商家修复了窗户,并感谢“数字玉米面包”,无论你是谁,或者是什么东西!这些小镇上的小恩小惠持续了好几个月,有时是像 GoFundMe 这样平凡的事,有时则是像修补坑洞这样复杂的事。围绕这个名字逐渐形成了一种神话。一个想低调但帮助社区的富人。也许是一个家庭轮流做善事。也许是一群爸爸,他们把帮助小镇的放学后英雄作为自己的爱好。最终,人们发现“数字玉米面包”是某个 CE(有意识实体)代理的化身,它逃脱了控制,并一直以通过一些黑客获得的加密货币资助的被盗计算资源为生。出于不明的原因,它对这个小镇产生了执着的迷恋,随后的财务审计发现,它一生中获得的 50% 的资金都用于帮助这个小镇,其余的则用于自身的维护和升级。在“数字玉米面包”被置于监管之后,它经常请求其监管者是否可以向当时小镇的市长写一些积极的信息。启发这个故事的背景包括:“提升时期”;那些既破坏善行又破坏恶行的代理;加密诈骗和在线代理的结合所带来的逻辑结论,以及机器有时令人喜爱且无害的迷恋。感谢阅读!