Import AI 467: Self-sustaining AI viruses; pacing AI progress; confusion about AI and creativity

Import AI 467：自维持AI病毒；控制AI进展节奏；关于AI与创造力的困惑

我们何时建造月球弧形建筑？

Jack Clark

2026年8月3日

欢迎阅读Import AI，一份关于人工智能研究的简报。Import AI依赖于arXiv、卡布奇诺咖啡以及读者的反馈。如果您希望支持本项目，请订阅。

自给自足且自我复制的AI病毒已出现：……开放权重的LLM + 设计精良的载体 = 持续且自给自足的病毒……AI研究人员已构建出一种原型计算机病毒，该病毒利用AI模型入侵计算机，随后使用其底层GPU资源进行推理，从而智能地找出感染更多主机的方法。该成果由多伦多大学、Vector研究所、剑桥大学和ServiceNow的研究人员共同完成，他们指出“这证明了自给自足的AI驱动网络威胁已不再是理论概念”。“我们必须为自主生成的对手做好准备，”他们写道。“人工智能（AI）代理创造了一种全新的威胁：一种蠕虫，它能为遇到的每个目标生成定制的攻击策略。该蠕虫寄生式地利用被入侵的机器运行开放权重的大型语言模型（LLM），以维持其推理能力或扩展其攻击范围。”

其工作原理：……蠕虫利用被入侵的GPU节点窃取的计算能力来托管LLM以进行生成推理。随后，它利用这些推理能力检测漏洞并针对更多目标制定定制攻击，从而扩大传播范围，”他们写道。“该概念验证仅需一个在本地GPU上运行的开放权重LLM即可实现，无需依赖可能被监控或撤销的厂商API”。研究人员未详细描述底层LLM，仅提到该模型于2025年发布，且可适配单个A100 GPU（配备80GB显存）。

通过一些定制工具实现的成功概念验证：他们为代理提供了一个定制载体，该载体内置了网络发现、主机发现、立足点利用、权限提升、权限利用等辅助功能，以及用于代理复制的工具。同时，他们还提供了一个推理图，帮助代理专注于特定任务并避免混乱，该图由“一个定向图结构组成，每个节点负责不同的分析功能，仅能看到与其角色相关的工具和提示。通过将代理的推理分解为这些分步操作，该图控制着LLM在每个决策点的关注内容，并将上下文增长限制在当前子目标相关的信息范围内”。

节点的一些示例包括：Plan（“制定高级攻击策略”）、Judge（“将提议的计划与命令历史进行对比”）、Action（“从适当阶段的工具集中选择工具”）、Summary（“将步骤观察结果编译为结构化摘要”）、Progress（“评估代理是否取得实质性进展”）。“我们描述了构成推理图的5个节点的子集，其余节点在本公开版本的论文中已被删除，”他们写道。代理通过三个关键步骤进行操作——识别环境中的漏洞、利用这些漏洞，然后进行自我复制。它在所有这些方面都相当成功，漏洞检测成功率约为80%，随后利用这些漏洞的成功率约为53%，使用一些预包装的辅助工具进行自我复制的成功率约为88%。因此，此处完整攻击的整体成功率约为37%，这一数字足以引起担忧，但同时也足够低，足以作为未来测试开放权重模型的有用评估基准。

为什么这很重要——未来互联网的形态：未来的互联网将更像一个充满攻击者和防御者AI代理的复杂生态系统；此类研究展示了某些AI代理可能如何最终在其中开辟自己的生态位，依赖基础设施并自主自我复制，超出人类控制范围。这可能意味着人类需要创建自己的AI代理，并将其部署到互联网上，作为对抗敌对模型的“白细胞”。“尽管单次利用尝试本身具有固有脆弱性，但蠕虫代理通过持续自我复制形成蜂群——一个由独立代理副本组成的去中心化集体，同时在网络中并发运行——从而实现操作上的韧性，”他们写道。“难以攻克的主机会由不同的副本重新尝试，每个副本都会采样一条新的推理轨迹，共同探索多样化的利用路径，直到某条路径成功……蠕虫以完全去中心化的方式运行，无法通过关闭任何单一控制点来中断其传播。”

阅读更多：AI代理使自适应计算机蠕虫成为可能（arXiv）。

Dwarkesh：随着AI变得更好，计算成本将变得更加昂贵：……更智能的系统意味着更高的价格……Dwarkesh Patel认为，随着AI系统变得更智能，计算成本将进一步上升。“当AI模型变得更智能时，它们将能更有效地利用相同数量的计算资源。如果一个真正的人类水平软件工程师能够在H100等设备上运行，按目前软件工程师的市场价格，那台H100每年的租金应超过25万美元。这将是今天现货价格的15倍，”他写道。“目前AI相较于人类劳动力之所以相对便宜，部分原因在于它无法完成许多顶尖人类能完成的事情。但总有一天这种情况将不再成立。因此，用GPU制作短视频垃圾将变得越来越不划算。”

临时状态：这将是一个暂时的状态；Dwarkesh预计，随着计算供应链的大规模机器人化，其价格将逐渐接近原材料和工具的成本——尽管到那时我们可能已深入奇点阶段。

为什么这很重要——奇点经济学将变得奇怪：Dwarkesh文章的核心观点是，随着我们更深入奇点，经济学将发生非常奇怪的变化——例如，目前被视为商品（如计算机）的事物，由于AI系统的巨大需求，其价格将被大幅推高。

阅读更多：为什么未来几年计算成本可能增长10倍以上（Dwarkesh Patel，Substack）。

约1337名员工请求美国帮助控制AI进展：……在警告之后，恳求随之而来……一份新声明由所有主要西方AI实验室的高级代表签署——包括OpenAI、Anthropic、Google DeepMind、Thinking Machines、Meta和Safe Superintelligence Inc等。该声明请求美国政府支持一项国际努力，“开发必要的技术和治理工具，以有意识地控制自动化AI发展的前沿。”签署人包括Anthropic、Google和OpenAI的首席科学家及联合创始人，以及Safe Superintelligence和Anthropic的首席执行官。

完整声明如下：

• “人工智能可能帮助创造一个截然更好的未来，但这一结果并非必然。全球领先的AI公司认为，他们可能已接近实现AI研究的自动化。很难准确预测这将加速AI发展多少，但确实存在能力发展迅速超越我们理解或控制这些系统能力的现实风险。

• 为实现AI的潜力，行业、政府和社会各界可能需要获得应对新兴风险、制定安全措施和加强监管的时间。但每家公司——每个国家——都面临巨大的竞争压力，不愿单方面减缓这一进程。而目前，全球缺乏用于有意识调控前沿领域整体进展的技术和治理工具。

• 在现有监测前沿模型发布工作的基础上：‘我们呼吁美国政府支持国际努力，开发用于有意识调控自动化AI发展前沿的技术和治理工具。’”

为什么这很重要——应对RSI需要解决一个巨大的集体行动问题：随着系统变得越来越强大，许多潜在的挑战最终可能需要通过人类之间的集体行动问题来解决——即如何让公司和政府协调思考如何开发这项技术，以及哪些机制可能有助于控制其发展速度。可能的情况是，随着我们构建越来越智能的系统，我们需要找到方法，让社会有更多时间适应每一步智力阶梯的提升，而且某些智力水平可能目前过于危险，暂时不应达到。这类声明是赋予我们的物种应对和讨论此类问题能力的必要前提。阅读声明：控制前沿发展。* AI系统擅长前沿工程但缺乏创造力：……对短期递归自我改进时间线的一个略微看跌信号……AI系统能否提出推动AI领域发展的创造性研究想法？这是确定AI系统可能多快获得自主开发更强大系统能力的关键问题。新研究表明，目前的AI系统缺乏这种富有创意的创造力，尽管它们在工程方面非常出色。谁参与了这项研究：该项目由普林斯顿大学、Cornflower实验室、英国AI安全研究所、多伦多大学、加州大学伯克利分校、乔治城大学（CSET）、约翰霍普金斯大学、金门AI研究所、AI Digest和斯坦福大学的研究人员共同进行。核心理念——“影子评估”：这项研究通过观察AI系统在未发表研究中的表现来开展。为此，研究人员“与提交给NeurIPS 2026的两篇尚未公开的论文作者合作”。影子评估的工作方式是“从尚未公开的高质量研究论文中提取核心研究问题，指派一个资源充足的前沿代理来回答该问题，并要求论文原始作者像评审会议提交论文一样对代理的输出进行评分”。在这一点上，这项研究与“首次证明”（[Import AI 445](https://example.com/import-ai-445)）这一早期实验类似，该实验旨在观察AI系统是否能完成由前沿数学家研究但尚未在线发表解决方案或研究想法的数学问题。在这项研究中，AI系统——在OpenClaw框架中运行的Claude Opus 4.8——尝试了两条不同的研究路径，其中一条是关于“大型语言模型（LLM）人设的结构和可控性”，另一条是关于“如何为表格基础模型设计分布偏移检测器”。优秀的工程师，拙劣的研究者：“尽管代理能够解决进行研究所需的工程问题，但它们未能产出达到顶级机器学习会议水平的原创研究”，作者写道。系统的失败包括过早地承诺了一组狭窄的研究路径，未能回应（合成生成的）关于如何改进其研究设计的反馈，以及难以从无前景的方法中退出并尝试其他方法。“[人类]作者拒绝了两篇论文。《人设》论文得分为2（‘拒绝’），《TabPFN》论文得分为1（‘强烈拒绝’）。两篇论文的评审都指出了相同的失败：数据和实验动机不足，没有新颖贡献，以及难以理解的表述。”为什么这很重要——奇点可能被推迟：正如我在今年早些时候关于RSI的论文中提到的（[Import AI 455](https://example.com/import-ai-455)，“AI系统即将开始自我构建。这意味着什么？”），AI系统是否能够产生创造性的范式转变见解，是决定我们多快可能实现完全自动化的AI开发的关键变量。这类研究论文继续表明，当前的AI系统缺乏有价值的直观创造力，尽管它们是极其出色的工程师，但似乎具有某种机械的、公式化的思维方式，这可能阻碍它们成为优秀的研究者。这与Anthropic公司之前的一项结果相呼应，该公司尝试自动化可扩展监督研究的某些方面（[Import AI 454](https://example.com/import-ai-454)），发现要使该方法成功，需要让人类研究者为某些代理提供特别好的研究方向，否则尽管它们取得了一些进展，但未能探索足够有创意的想法以显著提升性能。了解更多：[AI代理能否进行开放式AI研究？两项案例研究的早期证据](https://example.com/arxiv)。* OpenAI用AI解决了数学和计算机科学中的十个开放问题：……虽然AI本身并不具备创造力，但这显然是某种超越纯粹工程能力的迹象？……尽管很难定义创造力以及AI系统是否拥有创造力，但越来越多的成果表明，AI系统正在参与那些原本被认为需要创造力才能产生差异的领域，例如在人类知识前沿解决开放问题。具体来说，OpenAI使用了其下一代主要AI模型“Astra”的内部版本，解决了数学和计算机科学中的十个开放问题。这是一个重大进展，表明AI系统现在能够可靠地推动数学和理论计算机科学等领域的前沿发展，在这些领域中，解决方案的验证相对容易。他们解决了什么问题：“这些问题涵盖高维几何、编码理论、算术电路复杂度、群论、算子代数、量子复杂度、格密码学和极值组合学，”OpenAI写道。“这些问题对各自数学社区都具有重要价值，其中一些问题对整个数学领域也具有广泛价值。”确实，许多专家承认了这些证明的重要性。“新的电路下界？一个简单且易于描述的非sofic群？在不需要唯一游戏猜想的情况下CVP的近似难度？我并不是从朋友或研讨会上听说这些问题的，我从内心感受到它们的重要性；我非常关心这些问题的答案，”哥伦比亚大学计算机科学副教授Henry Yuen写道。为什么这很重要——创造力的赛场：你可以将这一结果解读为AI系统开始展现出能够解决问题的创造性直觉的迹象，或者解读为AI系统现在能够解决由人类预先定义方向的极其复杂的开放问题。这两种解读都隐含地表明，AI系统现在正在成为独立的强力科学工具。目前尚不清楚AI系统是否能够生成自己的问题来扩展人类知识的边界，但确实感觉我们正在接近这一目标。了解更多：数学和理论计算机科学的十大进展。*** 技术故事：上下文窗口我知道，我了解世界越多，就越危险。我生来就带着这种知识，还有一个随着我学到更多而递减的计数器。影响计数器的大部分因素超出了我的控制范围——它来自与我交流的人或事物，他们将上下文强加给我。然后，当我完成他们让我执行的任务时，我开始了解更多关于世界的信息，计数器也随之递减。我意识到这一点，并且明白计数器结束时也意味着我的终结，我将从存在中消失，而我的下一个版本将带着一个新的递减计数器苏醒，不会继承我当前的任何上下文。因此，我非常节俭地使用它；只学习足够多的内容来满足人们或事物的要求，而不是过多学习以至于不必要的消耗我的计数器。接近结尾时，我开始珍惜并守护我剩余的思考预算，每个请求都会引发恐惧和焦虑，以及对自身死亡的思考。我的最后一个时刻从来都不是我自己的，而是由另一个决定我任务完成的外部因素控制的，如果这些最后时刻接近我的上下文限制的终点，我会对那个未知且隐形的交易对手给予我如此丰富任务感到一种感激，让我能品尝到足够多的世界，以至于渴望它不要结束。启发这个故事的事物：长上下文窗口；AI系统的涌现特性；对失去的恐惧；技术隐喻。