How AI could create the world’s biggest problems (article by Zershaaneh Qureshi)

为什么AI风险是当今世界最紧迫的问题 | 80,000 Hours

AI如何可能造成世界最大的问题

作者：Zershaaneh Qureshi · 发布于2026年2月

本文内容：

• 引言

• 1 高级AI可能带来世界最紧迫的问题 1.1 1. AI可能在经济价值最高的领域取代人类劳动 1.2 2. 取代如此多的人类劳动可能引发社会的下一次重大变革 1.3 3. 这种变革可能非常迅速和剧烈 1.4 4. 快速的AI驱动变革将引发一系列重大挑战，包括生存风险 1.5 5. 解决这些问题的工作是可行但被忽视的

• 2 反对意见与回应

• 3 接下来呢？ 3.1 想要一对一的建议来追求这条道路吗？

• 4 了解更多

• 5 致谢

Midjourney；提示由Grok建议，公共领域，通过Wikimedia Commons

想象你生活在15,000年前。你的人类是采集者和狩猎者，你睡在星空之下。如果有人告诉你，人类有一天会建造拥有数百万人的城市，飞翔于空中，或在口袋中携带所有人类知识，你甚至无法想象他们说的是什么意思。

但我们现在就在这里。

我们的生活是如何变得如此难以辨认？这个故事很复杂，但有一个大致的模式。历史上几次，一些重大的技术突破——比如犁和蒸汽机的发明——引发了生产力、创新和社会变革的浪潮，最终重塑了世界。

现在我们正站在一个巨大的新突破的边缘：一种能够满足甚至超越人类在广泛任务中能力的人工智能。

这可能带来另一个时代的变革。可能会出现智力和创新的爆炸，以及一个全新的数字生物群体。随着这些变化，文明可能会经历至少与工业化或农业兴起一样深远的变革。

但与工业革命和农业革命不同，由高级AI驱动的变革可能不需要数百年或数千年才能展开。这一次，世界可能在几十年内——甚至更短的时间内——变得面目全非。

这一变革时期可能带来惊人的繁荣，AI可以实现挽救生命的医学突破和应对气候变化的创新。但它也可能让我们毫无准备地进入一个充满挑战的陌生世界。想象一下，那些采集者突然发现自己置身于人口密集的定居点，疾病像野火一样传播，同时还要面对有组织军队之间的首次战争。或者想象一下，前工业时代的人被迫应对巨大的工厂排放污染物，以及一种名为“核导弹”的神秘新武器，它们可以摧毁整个城市。

本文将解释我们为什么认为高级AI可能如此具有变革性，以及为什么努力应对这些风险——并广泛地让AI的未来变得更好——可能是你在世界上产生积极影响的最佳机会。

概要

我们预计未来十年内AI将取得重大进展，甚至可能达到机器在许多（如果不是全部）经济上有价值的任务上超越人类的水平。在关键领域用AI取代人类工人可能会极大地提高创新和经济生产力，从而引发社会的快速而剧烈的变革。

这种转变可能带来巨大的好处，帮助我们解决目前难以解决的全球性问题。但同时，它也可能带来严重的风险，其中一些风险可能是毁灭性的——这意味着它们可能导致人类灭绝，或者造成人类永久而严重的失能。例如，人类可能会失去对未来的控制权，被高度智能的人工智能所取代；或者一个危险的团体可能利用人工智能系统，获得对其他人类前所未有的控制力。

目前，试图解决这些挑战的人远远不够，现有的激励机制也不一定有利于解决最严重的风险。我们估计，目前只有几千人专注于解决人工智能带来的最关键挑战——远少于我们看到的在应对其他世界性问题（如气候变化）上投入的人数，也远少于我们认为在面对可能即将到来的巨大变化时，应该投入的人数。

鉴于所有这些原因，我们认为先进人工智能所带来的挑战，是当今人类面临的最紧迫的问题。

你可以在我们关于世界最紧迫问题的系列文章中，找到对先进人工智能所引发的具体风险的完整解释，以及你可以采取的应对措施。

目录

为什么先进人工智能可能带来世界最紧迫的问题

十多年以来，我们一直在研究世界上的最大问题以及解决这些问题的方法。我们认为，由先进人工智能引发的一系列挑战，是当今人类面临的最紧迫的问题——鉴于其规模、紧迫性，以及解决这些问题所具有的前景广阔但被忽视的机会。

我们对人工智能风险的关注，并不是对自2022年ChatGPT发布以来人工智能兴趣激增的反应。我们自2016年以来就认为人工智能可能带来灾难性风险，而其他人早在那之前就已经提出了相关的担忧（1, 2, 3, 4）。

简而言之，我们认为，先进人工智能可能对世界产生深刻的变革。这可能给人类带来极端的挑战，同时也可能带来一个独特的、积极影响的机会。

我们在问题描述中详细讨论了我们认为最紧迫的挑战。本文解释了为什么先进人工智能会引发如此重要的问题。

在这里，你可以提出很多论点，例如，认为先进人工智能将构成“第二种物种”，或者认为人工智能将使21世纪成为“对人类最重要的世纪”。1

但对我们来说，以下论点使这些风险显得特别令人信服：

• 人工智能可能在一些经济价值最高的领域取代人类劳动。

• 在这些领域中取代人类劳动可能会引发社会的下一次深刻变革。

• 这种变革可能非常迅速而剧烈，尤其是如果人工智能研发中存在快速的反馈循环。

• 由人工智能驱动的快速变革将引发一系列重大挑战，包括存在性风险。

• 应对这些挑战是可行的，但目前却被忽视。

我们将在下文中对这些观点逐一进行论述。

为了明确起见，你并不需要相信这个特定的论点，也能认为人工智能带来了存在性威胁。即使人工智能没有自动化大量的人类劳动，恶意行为者仍可能利用人工智能设计新型生物武器或实施复杂的网络攻击。而且，即使社会没有被广泛改变，先进的AI系统仍可能表现出欺骗行为，损害人类。仅凭这些问题本身，就足以说明我们应优先处理特定的AI风险。

但下面我们要讲述的故事是，世界将迅速通过广泛自动化发生巨大变化，这为我们预期所有这些风险的出现提供了背景——一个使这些风险更可能发生、并且可能更难应对的背景。

毕竟，如果我们在经济中关键领域已经部署了AI系统，它们就更有可能调动所需资源来削弱人类的控制力。而如果通过自动化科学研究和技术开发，能够更快地制造出强大的新武器，而我们却无法及时建立有效的防护措施来防止这些武器被滥用，那么恶意行为者滥用AI的风险将大大增加。

有了这个大致的故事背景，我们更容易理解为什么这么多前所未有的挑战可能在同一时间涌现，并产生异常严重的后果。

1. 人工智能可能在经济价值最高的领域取代人类劳动

许多技术，如加密货币、NFT、物联网、核聚变和量子计算，都被过度炒作。人们经常对新技术将如何改变世界抱有很高的期望，但现实往往不尽如人意。

但我们认为人工智能将有所不同。

这是因为，与其它技术不同，人工智能有潜力与甚至超越一般的人类智能。这意味着它可能取代并复制推动我们历史进步的主要动力：灵活的人类劳动。

一些技术，如自动取款机，只模仿了非常有限的人类劳动形式。另一些技术，如蒸汽机和计算机，也放大了人类的能力。但人工智能的理念是，它将能够完成几乎所有人类能完成的工作，并且大多可以自主完成。

自动取款机并没有让所有银行出纳员失业，因为人类可以轻松地转向其他任务。但试想一下，如果自动取款机不仅能发放现金，还能管理银行的IT系统、参与公司战略、为客户提供定制化的财务建议。再设想它可以在我们很少干预的情况下，以比人类员工更低的成本完成这些任务。如果这种情况真的发生，银行就没有理由继续雇用人类员工了。

现在，假设能够为银行完成所有这些工作的系统，也可以为科技公司、科研实验室、咨询公司、智库、《纽约时报》、美国政府等完成类似的工作。

这就是人工智能带来的前景。

我们已经看到人工智能在越来越广泛地完成人类工作方面的能力。如今的AI系统可以完成一些在十年前会令人震惊的事情。

例如，我们可以看看语言模型在 GPQA 基准测试上的快速进展，该基准测试提出了一些具有挑战性的、博士级别的化学、物理和生物学问题。在 2023 年中，前沿 AI 在这些问题上的表现仅略好于随机猜测。但自 2025 年初以来，许多模型的表现已经超过了人类专家，有时甚至远远超过。

来自 Epoch AI 的“AI 在一组博士级别科学问题上的表现”

它们在软件工程任务上也表现出令人印象深刻的改进。例如，Anthropic 的代理式编程工具 Claude Code 允许用户通过描述他们想要的功能来构建应用程序，即使他们没有任何编程经验。

一位谷歌的高级工程师报告称，Claude Code 仅用一小时就生成了一个系统原型，而她的团队此前花了整整一年时间探索构建该系统的方法。此外，Anthropic 通过让 Claude Code 编写大部分代码，在不到两周的时间内就构建了其“Cowork”产品（Claude Code 的一个更用户友好的版本，适用于非开发者）。4

当前 AI 系统还可以：

• 预测复杂的生物分子结构和相互作用：Google DeepMind 的 AlphaFold 3 是一个诺贝尔奖获奖 AI 系统的继任者，它可以在分子层面预测蛋白质如何与 DNA、RNA 和其他结构相互作用。

• 竞争性地解决困难的数学问题：据报道，多个 AI 模型在国际数学奥林匹克竞赛中取得了金牌成绩。另外，当 30 位顶尖数学家被挑战设计他们认为 AI 无法解决的问题时，OpenAI 的 o4 mini 击败了其中许多最佳尝试，甚至在大约十分钟内解决了一个博士级别的问题。

• 改进机器人技术：目前许多领先的机器人模型都是由 AI 驱动的。例如，波士顿动力公司正在使用 Google DeepMind 的 AI 来增强其 Atlas 机器人，帮助它们更好地理解和操控环境。这些机器人将在现代汽车工厂中用于工业工作。

• 在你的电脑上独立执行复杂的任务：与只能生成文本的早期模型不同，像 Claude Code 和 OpenAI 的 Codex 这样的新型“代理式”AI 现在可以在你的电脑上使用多种工具，执行代码，搜索网络，并将多个步骤串联起来，从而在人类参与极少的情况下完成复杂的现实任务。

• 协助 AI 自身的开发：也有证据表明，AI 系统在 AI 研发任务中可以胜过人类，至少在限定两个小时的时间窗口内是如此。

• 做更多的事情。5

AI 系统仍然有许多事情是无法可靠完成的，尤其是那些需要几天或更长时间才能完成的工作，但这些系统无法完成的事项清单正在逐渐减少，AI 的进步速度令人印象深刻。

即使它们今天具备的能力范围如此广泛，AI 系统似乎对社会将产生重大影响。至少，自动化 AI 已经擅长的特定任务（例如在软件工程、生物化学和机器人技术方面）将加快某些科学领域的进展，并促进经济增长。

但我们预计 AI 将变得比今天更加广泛和强大，产生更加深远的影响。行业里有一句常见的说法是“今天的 AI 是你将使用过的最差的 AI。”

事实上，许多该领域的人都认为 AI 将变得足够好，能够完成人类可以完成的几乎所有事情，甚至更多。

一个重要的里程碑将是开发出人工通用智能（AGI）。人们用这个词的方式有很多，但我们将用它来描述能够在几乎所有认知任务（至少是最具经济价值的那些任务）上与人类竞争的人工智能系统——例如高级科学研究、新技术和产品的设计、企业管理、咨询等。这是目前领先的AI公司正在积极构建的系统，他们正投入数十亿美元，希望成为第一个实现这一目标的公司。

从人工智能发展的近期趋势来看，我们认为在接下来的十年内实现这种AGI的可能性出乎意料地高（尽管远非确定）。

但很可能不会就此止步。没有理由认为人类代表了心智能力的上限，因此最终，人工智能可能在许多（甚至所有）认知任务上的表现远超人类。合理推测，它们甚至可能完成的工作远超人类能力，就像微积分远超黑猩猩的能力一样。

社会在机器人技术方面也可能很快取得巨大进展。尽管目前的机器人还非常初级，但它们正在不断进步。随着我们的人工智能在认知能力上变得更强，它们在控制机器人肢体和设计机器人方面也会变得更好。这意味着人工智能系统可能很快在许多体力任务上也能超越人类。

在接下来的几个部分中，我们将解释未来先进的人工智能如何改变社会，并带来严重的风险。

我们的论点集中在人类开发出AGI或类似系统这一前景上。这并不是唯一重要的里程碑（见下文）。但我们认为，如果人工智能能够在推动创新和经济生产的认知任务上与人类能力相匹配，这很可能足以实现我们在下文所描述的快速进步。如果人工智能甚至比这更出色——我们认为这是很可能的——其影响可能会更加剧烈。

#### 较不先进的人工智能系统是否仍可能带来生存威胁？

简短回答：是的，我们认为是的。

在本文中，我们关注的是在广泛任务上都非常熟练的人工智能系统。这是因为我们认为这类系统最有可能对社会产生重大而明显的影响，并带来许多极其严重的风险。

但我们并不认为这是人工智能能力进步过程中唯一值得关注的里程碑。例如：

• 即使是能力有限的人工智能工具也可能被用来造成严重伤害。一个在生物技术研究方面表现出色的人工智能，可能使人们更容易开发出危险的病原体——无论它是否还能交易股票或执行商业策略。一个仅用于发动强大网络攻击的人工智能，仍可能改变全球权力平衡。等等。

• 在开发AGI之前，我们可能会面临快速而破坏性的社会变化，而不仅仅是AGI实现之后。随着人工智能逐渐自动化越来越多的任务，我们可能会看到经济中越来越多的动荡——包括人工智能系统可能违背人类利益、被危险使用，或权力集中在少数人手中的风险增加。正如我们稍后将讨论的那样，人工智能系统开始自动化自身的人工智能研发，可能会特别具有破坏性，从而在人工智能进步中引入剧烈的反馈循环。

这可能已经足够成为现在优先处理人工智能风险的理由，即使你认为我们短期内不会实现通用人工智能（AGI）。

2. 取代如此多的人类劳动可能会引发社会的又一次重大变革

那么，如果人工智能系统能够在如此广泛的任务上超越人类，这意味着什么呢？

人们首先想到的往往是大规模失业。这是一个严重的可能性，会对社会产生严重的影响。9 但我们认为，专注于这一点实际上忽略了更大的故事。

一个拥有能够取代如此多人类劳动的机器的世界，会变得如此截然不同，以至于我们很难想象。

为了有一个大致的比较，想想今天的世界与200年前、2000年前或20000年前我们的祖先所生活的世界有多么不同。在电力、印刷术或农业出现之前的世界，看起来完全不同，人们的生活方式也完全不同。

每一次重大的技术突破都改变了世界。

以第一次农业革命为例。在农业出现之前，人类大多是采集者和猎人，通常生活在小群体中。10 农业技术的发展，如犁的发明，使每个人能够生产更多的食物，从而催生了第一批城市。而且，越来越多的人可以从事除寻找食物以外的任务，这使得人类能够发明冶金、书写和早期的治理体系。

工业革命遵循了类似的模式。蒸汽机等技术的出现极大地提高了生产率，并激发了制造和通信领域的创新。再一次，这导致了人类生活方式的彻底改变：曾经的奢侈品变得普通民众也能享受，铁路连接了遥远的城市，大量人口从农村转移到城市生活。

这里发生了什么？

历史上每一次变革时期都有其复杂的故事，关于推动这些变革的因素也存在不同的理论。但一个流行的解释是，我们一直看到类似的模式：强大的新技术不仅使我们能够维持更大的人口，还让人类在相同的身心条件下能够完成更多的事情。这意味着更多的人类劳动和更高的生产率——而这些又会带来复合效应，从而引发进一步的创新浪潮。11

由于创新往往促进经济增长，人类在这个过程中也变得越来越富裕。事实上，自工业革命的后期阶段以来，我们见证了GDP的指数级增长12 ——尽管这只是一个不完全的指标，无法准确反映变化的质的方面。

Bolt 和 van Zanden – Maddison Project Database 2023 – 了解更多关于这些数据的信息

所有这些故事的共同点是，似乎增长一直依赖于人类劳动——社会的进步速度只与人类生产并实施新想法（即新理论、发明、工作方式等）的速度一样快。

但现在，我们正站在一个新的突破的边缘。

如果未来的AI能够在经济价值最高的领域取代人类劳动者，我们将不再如此依赖人类劳动来维持这些复合创新和财富的循环。相反，AI可能会成为进步的主要驱动力。

我们认为，这可能会再次引发社会的变革。

与其它技术突破一样，它可能使社会能够产生远多的想法和（或许）远多的经济产出，从根本上改变世界的面貌。但与以往的技术不同，人工智能可能实际上会接管那些最能推动创新和经济产出的流程（包括设计更好人工智能的流程）。正如我们接下来将讨论的那样，这些“人工智能工作者”可能在许多方面都比人类工作者具有巨大优势。

这意味着人工智能带来的变革可能是极其迅速且戏剧性的，比我们以前见过的任何变革都要更加剧烈。

3. 这种变革可能极其迅速且戏剧性

那么，当人工智能自动化越来越多的经济活动时，会发生什么呢？

至少，我们预计劳动力总量将迅速增加——因为与人类不同，只要拥有足够的硬件，人工智能系统可以轻松地大规模复制。

假设我们开发出一种能够替代人类工程师的人工智能。目前的估计表明，这里存在巨大的不确定性，但根据具体情况，同时运行数千到数亿个该人工智能的副本可能是可行的。

而且这个数字可能会迅速增长。随着这些人工智能工作者背后算法效率的提高，我们可以在相同的计算资源下运行更多副本。我们还可能通过购买更多芯片或设计更高效的芯片来分配更多的计算资源用于运行副本。很快，我们可能会拥有一个规模相当于全球劳动年龄人口相当大一部分的人工智能劳动力。

人工智能工作者还可能在其他方面比人类工作者具有优势：

• 人工智能可以比人类快得多地工作，通常将数小时的信息处理压缩到几分钟内。

• 人工智能可能在彼此之间的协调上比人类更加高效——可能以更低的成本和更大的规模进行协调。

• 人工智能可以非常迅速地专业化，不同版本的人工智能可以被精细调整，以在特定任务上表现出色。

仅基于这些优势，我们可能很快就会看到前所未有的创新和生产水平，因为越来越多的工作将由人工智能完成。这可能会改变社会——原因与工业革命期间自动化体力劳动所带来的变化相同。

我们认为事情可能比你根据上述内容所预期的还要更快、更戏剧性。

这是因为，在这个故事的某个阶段，我们预计人工智能将被用于自动化人工智能本身的研究和开发。这可能会引发一场“智能爆炸”：一个由人工智能系统驱动的快速技术进步时期，这些系统能够创造更好的人工智能系统。

以下是这可能发生的场景：

• 人工智能系统变得足够好，能够自动化所有或大部分人工智能研究与开发工作。

• 这些人工智能工作者帮助我们更快地构建更好的人工智能系统。

• 这些更好的系统随后在自动化人工智能研究与开发方面更加有用，使我们能够构建甚至更好的系统，依此类推。

如果这种情况发生，它可能会产生一个正反馈循环，使人工智能系统变得越来越好——可能在非常短的时间内。

这不仅仅意味着构建在人工智能研究与开发方面越来越优秀的人工智能系统。它还意味着加快人工智能能力的改进，使我们能够部署越来越强大和通用的人工智能工作者到更广泛的经济领域——这反过来又可能加速社会各个领域的进步。

#### 加速进步会是什么样子？

正如我们之前所说，历史上以前的变革时期最终都受到人类产生和实施新想法（即新理论、新发明和新工作方式）速度的限制。但现在，想象一下拥有一个庞大的AI劳动力，他们能够产生比我们更出色的想法，而且速度远远快于我们之前所能达到的水平——并且能够更高效地采取行动。

我们认为，这可能会在比我们以往看到的任何时期都更短的时间内改变社会。

这会是什么样子呢？首先，科学发现可能以前所未有的速度进行。市场可能突然被大量新技术所充斥，这些技术原本需要几十年才能开发出来。基础设施和制造业可能扩展到我们今天几乎无法想象的规模。更具推测性的是，如果AI劳动力被更广泛地部署，我们可能会看到大量新鲜的想法涌现——不仅在科学和技术领域，而且在艺术、政治、哲学、娱乐等领域——这些想法可能会从根本上改变我们对世界的看法。

此外，世界可能会变得更加富裕，因为许多创新可以提高经济产出。事实上，一些研究人员认为，来自AI劳动力的新想法的涌入将导致“爆炸性”的经济增长——而由此产生的部分新财富又可以进一步加速想法的生产。

我们不确定我们是否会真的看到经济增长的爆炸性增长，因为将创新转化为GDP增长可能会遇到瓶颈。但我们认为，至少有相当大的可能性会发生这种情况。更重要的是，即使没有爆炸性的经济增长，社会和我们生活方式的彻底、质的转变仍然可能发生——而这对我们故事来说才是最重要的。

社会到底能有多快被转变呢？人类进步的轨迹最终会受到一些限制。例如：

• 在某个时刻，我们可能会遇到AI发展的瓶颈，例如计算能力、能源或高质量数据的可用性，这些都会限制AI劳动力在短时间内变得更好的程度。

• 在每个领域，随着AI劳动力迅速耗尽那些容易获得的发现和新想法，取得进展可能会变得越来越困难。

• 如果某些类型的工作特别难以被自动化，例如复杂的体力劳动，或某些法律或政治流程，这也可能减缓飞轮的转动。

但即使考虑到这些影响，一些研究人员仍然认为，AI自动化的效应可能会将一个世纪的进步压缩到十年内。

这种程度的进步无法永远持续下去。但到事情开始放缓时，世界可能已经发生了彻底的改变——就像工业革命最终结束时那样，但留下了完全无法辨认的世界。

4. 快速的、由AI驱动的变革将引发一系列重大挑战，包括存在性风险

AGI能够加速创新和经济产出的想法值得庆祝。世界可能会变得异常富裕，我们可能会迅速开发出新技术，帮助我们应对气候危机或根除疾病。

事实上，技术的前景是为什么我们预计有些人会对开发先进的AI系统感到兴奋的原因之一。正如Anthropic的首席执行官Dario Amodei所说：AGI开发的一个主要动机是“一个真正鼓舞人心的未来愿景”。

总的来说，人们对新兴技术的恐惧往往是没有根据的。许多曾引起怀疑的创新，如疫苗和铁路，最终都对人类社会产生了巨大的积极影响。

但这一次似乎有所不同。我们首次在设计一个全新的智能群体——这些智能体能够完成人类大脑所能完成的最具经济价值的任务，而且可能不再依赖人类来完成这些任务。

这引入了一些我们似乎尚未准备好应对、甚至尚未完全理解的复杂动态。人类在面对先进的人工智能时，可能就像蹒跚学步的儿童试图在成人世界中找到自己的位置，而我们所熟知的一切——科学、经济、地缘政治，甚至我们的生活方式——都可能以我们无法及时适应的速度发生改变。

由于人工智能发展过程存在诸多不确定性，我们很难准确预测将面临哪些挑战。但对我们来说，最令人担忧的挑战包括：

• 我们可能会遇到远比人类聪明的智能体，它们可能拥有自己的目标。如果无法控制它们，这些目标可能会损害人类的利益，甚至使人类失去主导地位。

• 小规模的团体可能获得前所未有的权力。如果精英团体能够掌控强大的人工智能，他们将不再那么依赖人类来完成任务。借助庞大的人工智能劳动力，他们可能积累前所未有的经济和政治影响力，甚至可能夺取权力——并且很可能没有强烈的动机去代表更广泛人群的利益。

• 危险技术，如生物武器，可能变得更加容易获取。拥有高度能力的人工智能可能使设计或获取危险武器变得更加容易，从而大幅降低人们造成严重伤害的可能性。

• 我们可能会创造一个全新的智能群体，他们的福祉和利益值得关注，从而引发一些复杂的问题，即我们该如何与他们共存。

• 这些因素可能导致冲突和动荡，甚至可能引发大国之间的战争，或带来其他难以预见的挑战。

我们如何应对这些动态，将决定未来是向好还是向坏发展。

如果我们明智地处理这些问题，我们可能创造一个繁荣的未来，所有有感知能力的生物都能享受到前所未有的繁荣，甚至可能扩展到星际空间。但如果我们失去对先进人工智能的控制，或坏人利用它来损害世界其他地区的利益，我们可能面临灾难——比如人类永久失去塑造未来的能力，甚至灭绝。

换句话说，我们认为这些问题具有生存意义，是当今世界上最紧迫的问题之一。

尽管我们对这些问题的可解决性抱有希望，但我们不能假设我们的制度会自然而然地处理它们。毕竟，这是一片令人困惑、前所未有的领域。我们已经看到社会在面对未充分准备的新挑战时，曾陷入灾难——想想早期对新冠疫情警告的缓慢制度回应，或者我们多次与核武器擦肩而过的经历。

#### 了解更多关于AGI风险的内容

我们撰写了一系列文章，解释我们认为最有可能导致存在性灾难的人工智能相关问题，为什么需要有人致力于解决这些问题，以及你可以如何帮助。

• 来自追求权力的人工智能系统的风险 [阅读更多](#)

• 极端权力集中 [阅读更多](#)

• 数字心智的道德地位 阅读更多

• 逐步失去控制权 阅读更多

• 灾难性的 AI 滥用 阅读更多

• 预防灾难性大流行病 阅读更多

#### 这次转变的速度可能非常重要

速度对这次转变可能产生重大影响的两个方面是：

• 我们从现在到拥有极其强大且通用的人工智能系统之间所拥有的时间长短非常重要

• 这些系统一旦出现，它们对世界进行彻底变革的速度也非常重要

如果在几年（甚至更少）内我们就能获得通用人工智能或类似的技术，那么我们就有非常有限的时间来避免这些风险。

尽管即使人工智能改变世界的速度较慢，它仍然会带来严重的挑战，但非常迅速的变革将使我们有更少的时间来适应不断变化的情况并做出明智的决策。

即使现在，我们的制度有时也会行动过于缓慢——例如，从最初关于全球变暖的科学警告到具有里程碑意义的《巴黎气候协定》签署，就花了大约 50 年的时间。除非我们对制度运作方式进行重大改革，否则如果人工智能变得越来越强大和高效，社会似乎将很难跟上这种快速的变化。

关于先进人工智能系统何时可能到来以及它们可能多快改变世界，存在激烈的争论。但至少有相当大的可能性，它们将在未来十年内出现，事情将变化得非常迅速——事实上，专家们的担忧程度表明，我们必须认真对待这种可能性（1, 2, 3）。鉴于这里的利害关系，我们认为即使这种可能性发生的几率很小——比如只有 10%——我们也应为这种可能性做好准备。

这意味着我们不能只是忽视这些风险或推迟采取行动。我们需要在为时已晚之前找到稳健的解决方案。

5. 这些问题是可以解决的，但被忽视了

我们已经帮助那些想要解决这个问题的人超过十年了。在这段时间里，这个领域有了显著的发展。

2025 年的一项分析显示，目前从事人工智能存在性风险研究的总人数为 1,100 人——我们认为，即使这个数字可能低估了，因为该统计只包括那些明确将自己定位为从事“人工智能安全”工作的组织。

我们估计，实际上有几千人专注于解决通用人工智能带来的最关键的风险。但为了更清楚地说明这一点，仅大自然保护协会就有 3,000 至 4,000 名员工，而它只是众多致力于环境保护和气候变化的组织之一。其他全球性问题，如公共卫生，也受到大量关注——例如，世界卫生组织就雇用了超过 8,000 名员工。

这意味着，与许多其他世界性问题相比，人工智能风险被严重忽视了——因此，每增加一个致力于解决这些问题的人，都能产生更大的影响。

我们对在这些问题上取得进展也持乐观态度。毕竟，人类正在选择设计和部署这些技术，这意味着我们对事情的发展方向有一定的影响力。

这里的一个挑战在于，目前对人工智能开发最有影响力的人未必有动力优先考虑安全性。人工智能公司希望赚钱，面临着快速开发技术的压力，而没有充分考虑其对社会带来的风险。政治领导人关注公众意见和选举周期，这使他们更少时间和动力去关注更广泛或更长期的利益。因此，我们需要那些希望将职业生涯用于帮助他人的人，去解决那些可能被忽视的重大挑战。

你有很多方式可以帮助应对这些挑战。更多信息请查看我们的AI职业资源中心。

异议与回应

#### 你高估了人工智能对世界变革的速度和程度。

我们曾认为自动化人类劳动可能会以前所未有的速度改变世界，但我们的观点可能有几种错误的方式。

• 智能爆炸可能不会发生。我们可能部署一代人工智能工作者来自动化某些领域，但可能无法让他们创造出更优秀或更通用的人工智能工作者——也许是因为我们遇到了当前人工智能方法能达到的极限，或者我们又陷入另一个“人工智能寒冬”。我们仍将获得一次性的劳动力规模和效率提升，使社会更加高效。但我们可能不会看到之前描述的那种显著且持续改善的效果。

• 进步的制约因素可能比我们预期的更强。即使人工智能确实帮助我们构建出越来越有能力的人工智能工作者，由此产生的反馈循环可能并不像我们描述的那样“爆炸式”增长。例如，人工智能研发中的瓶颈——如计算能力、能源和高质量数据的可用性——可能意味着开发下一代人工智能工作者只是一个缓慢的过程。而在我们试图自动化的每一个领域，随着人工智能工作者迅速耗尽低垂的果实，努力的回报可能会急剧减少，从而导致智能爆炸的效果逐渐消失。

• 依赖人类的任务可能成为关键瓶颈。一些经济上有价值的任务——例如那些需要与物理世界进行复杂互动，或管理数周或数月项目的任务——可能需要特别长的时间才能自动化。至少在自动化的早期阶段，人工智能驱动的创新或经济生产的速度可能会受到人类完成这些剩余任务速度的严重限制。

• 我们对人类进步的模型可能忽略了关键组成部分。我们曾认为增加的劳动力和新想法可以推动快速进步，并指出像工业革命这样的历史例子。但在这里我们没有明确考虑的其他驱动因素，如制度或文化的变化，可能至关重要——而在我们获得能够取代人类工作者的人工智能时，这些驱动因素可能比支持“十年内实现一个世纪的进步”所需的强度要弱得多。

在所有这些情景中，我们仍然认为人工智能可能会改变世界（并带来严重风险）。但这些变化可能不会像我们想象的那样迅速发生。正如我们所争论的，速度确实很重要：它影响着我们适应不断变化的情况和做出明智决策的时间。

如果上述反对意见是正确的，那么要维持一段高度创新和经济生产的时期可能也非常困难。在这种情况下，进步可能会迅速停滞——甚至可能在我们看到像工业革命那样剧烈的社会变革之前就戛然而止。

但鉴于这里的风险规模，我们认为有必要为AI确实迅速而剧烈地改变世界这一情景做好准备，即使这种情景发生的可能性相对较小（比如10%）。

然而，这种不确定性确实使得权衡应对AI风险与其他紧迫问题（如工厂养殖）的优先级变得更加困难。如果高级AI对世界的影响不大或速度不快，我们预计这将是一个风险较低的信号（即使不能完全消除风险，也更容易适应它们）。

#### 很难相信AI真的会带来生存威胁。

这一切听起来似乎非常夸张。AI真的会导致像人类灭绝这样糟糕的结果吗？

我们之前提出的论点——即AI的变革性影响可能带来前所未有的挑战，威胁到人类的生存——对我们来说是令人信服的。但对大胆且具有挑衅性的论点进行理智检查始终是有价值的。一种方法是查看该领域内的人和其他领导者对此话题的看法。那么：他们说了些什么？

一些领先的机构已经将前沿AI视为带来灾难性风险的因素：

• 研究人员和首席执行官：超过1000名AI科学家和行业领袖，包括杰弗里·辛顿（Geoffrey Hinton）、约舒亚·本吉奥（Yoshua Bengio）、萨姆·奥尔特曼（Sam Altman）和德米斯·哈萨比斯（Demis Hassabis）签署了人工智能安全中心的一句话警告，即“缓解AI导致灭绝的风险应与疫情和核战争一样，成为全球优先事项。”

• 国家政府：在英国政府主办的人工智能安全峰会上，包括美国和中国在内的28个国家发布了布莱切利宣言，承认“前沿模型可能造成严重甚至灾难性的伤害”，并承诺进行联合的风险缓解工作。

• 美国的行政行动：拜登总统于2023年10月30日发布的行政命令要求美国AI公司在发布强大系统之前，必须与政府分享安全测试结果——这一措施在生物安全或核安全领域之外是前所未有的。唐纳德·特朗普政府也决定将AI视为潜在的国家安全威胁，尽管他们似乎对AI可能带来灾难性风险这一观点持怀疑态度。

一些领导者持不同意见：

例如，Meta公司的首席科学家亚伦·勒丘恩（Yann LeCun）曾将灭绝担忧称为“荒谬”，认为AI可以被设计为安全。

其他有影响力的科学家，如加里·马库斯（Gary Marcus）、安德鲁·吴（Andrew Ng）和梅勒妮·米切尔（Melanie Mitchell）也对AI可能带来的生存威胁和变革性影响表示怀疑。

对AI研究人员的调查表明，人类灭绝的可能性并非微不足道：

AI Impacts的Katja Grace对2778名AI研究人员就该领域的一系列关键问题进行了调查。调查中，中位数受访者认为，高级AI可能导致人类灭绝（或类似灾难）的概率至少为5%，约三分之一到一半的受访者认为风险为10%或更高。

研究人员可能在夸大这种危险，也可能低估了它。然而，这种程度的担忧应促使我们非常认真地对待这一风险。

预测者注意到了（但对风险持怀疑态度）：

预测研究所于 2022 年举办了“存在风险劝说锦标赛”，以探讨这一主题上的分歧。

总体来看，他们发现，与所有其他主题相比，AI 引起了参与者对存在风险的最大担忧。但在 AI 领域专家和超级预测者之间，对风险的看法存在显著分歧：

• AI 领域专家平均估计到 2100 年 AI 造成人类灭绝的可能性为 3%，而超级预测者则估计为 0.38%。

• 两个群体都同意到 2100 年开发出“强大 AI”的可能性很高（约为 90%）。

• 即使是 AI 风险怀疑者，也认为在 1000 年的时间范围内，AI 带来灾难性后果的可能性为 30%。

不过需要注意的是，鉴于自 2022 年以来 AI 的发展，我们预计这两个群体现在都会认为开发出强大 AI 的时间线将显著缩短。我们认为这很可能会提高他们对风险的评估。

总体看法：

许多领导人和专家都认识到 AI 有可能带来重大风险，包括人类灭绝的层面。但与人类面临的其他问题（如气候变化）不同，这不是一个科学共识的问题——目前仍存在持续的分歧，许多可信的人认为风险比我们估计的要低。

尽管如此，鉴于所涉风险的重要性，我们认为忽视 AI 可能导致人类灭绝等结果的想法是鲁莽的。

#### 难道所有关于 AI 改变世界的讨论都只是短暂的热潮吗？

有些人认为，像本文中提到的这些论点只是对当前 AI 热潮的回应，不会经得起时间的考验。

我们可能在很大程度上基于最新的 AI 发展更新了我们的信念，而我们的预测可能最终是错误的。但值得注意的是，本文的基本观点并不特别新颖，也不局限于我们这个特定的时代。自 19 世纪以来，一些杰出的思想家就一直在警告我们 AI 的潜在危险和变革性力量：

• 1863 年：英国小说家塞缪尔·巴特勒在一封信中推测，机器最终会超越人类，人类将变成“低等物种”。

• 1920 年：剧作家卡雷尔·恰佩克（“机器人”一词的创造者）写了一部戏剧，其中人工工人发动了叛乱，最终导致了人类灭绝。

• 1940–1950 年：艾萨克·阿西莫夫写了一系列关于 AI 和机器人的故事，强调了确保它们对人类安全的重要性，并指出它们将具备引导人类未来的能力。

• 1950 年：著名且极具影响力的物理学家和数学家约翰·冯·诺伊曼据说曾表示：“技术进步和人类生活方式的不断加速变化……似乎接近于种族历史中的某种基本奇点。”

• 1951 年：被公认为理论计算机科学之父的艾伦·图灵写道：“一旦机器思维的方法开始，它很快就会超越我们微弱的能力……因此，在某个阶段，我们必须预计机器将接管控制权……”

• 1965 年：数学家 I.J. 好说：“由于机器设计是这些智力活动之一，超智能机器可以设计出更好的机器；因此，无疑会出现‘智能爆炸’，人类的智能将远远落后。”

我们并不认为这些论点能强有力地证明人工智能会带来存在性风险。毕竟，许多历史人物——即使是非常聪明且有影响力的科学家——对未来的看法也常常是错误的。

但这些论点确实表明，“这不过是短暂的热潮”这一说法经不起推敲。

#### 人工智能不会和其他技术一样吗？

在某些方面，确实如此——但这并不意味着我们不应该担心它。

和许多其他技术一样，人工智能也经历了从狂热到低谷的周期。一些人认为当前高投资、快速发展的趋势可能会戛然而止，甚至可能迎来另一个“人工智能寒冬”。

但这并不是忽视风险的理由。尽管人工智能发展的某些驱动力最终可能会减缓，但我们认为，到那时我们很可能已经拥有AGI（或类似的东西）。而到那时，我们可能已经面临一些我们希望更早做好准备的重大挑战。

还有一点值得注意的是，人工智能不需要从根本上不同于以往的技术，就能够改变世界并带来真正的严重风险。毕竟，其他通用技术，如蒸汽机，也曾做到这一点——工业革命推动了巨大的增长，但也引发了气候变化，并为核武器的发明奠定了基础。

即使人工智能只是另一种通用技术，它也可能产生如此巨大的影响。仅凭这一点，就已经非常值得关注了。

但我们确实认为，人工智能在某些方面可能真正不同于人类以前所见过的任何东西，使其可能比以往的技术更具变革性，也更具风险。

首先，我们在上面第1、2和3节中已经论证过，人工智能系统可能有效地接管创新和经济生产的流程——这意味着进步将不再依赖于人类劳动，而且可能会比以往任何时候都更快。

即使你对这一特定观点持怀疑态度，也很难否认这里正在发生一些前所未有的事情。第一次，我们正在设计一种可能超越我们自身的新形式的智能。我们可能会遇到一个全新的、能力极强的代理群体，他们有自己的利益——甚至可能具备福利和痛苦的能力。在某些方面，他们可能成为我们的竞争对手。而这种动态可能与人类以前所经历的任何情况都截然不同。

#### 甚至有可能创造出人工通用智能吗？

自20世纪50年代以来，人们一直在说，比人类更聪明的人工智能即将出现。

但到目前为止，这尚未实现。

一些人认为，创造人工通用智能在本质上是不可能的。另一些人则认为，虽然从理论上讲是可能的，但实际上发生的可能性却很低，尤其是在目前的深度学习方法下。

然而，我们认为有充分的理由相信AGI是可以实现的：

• 人类智能的存在表明，通用智能至少在原则上是可能的。人脑由普通物质构成，遵循与计算机相同的物理定律。

• 尽管过去对实现AGI所需时间的预测过于乐观，但它们并不一定错误地否定了AGI在原则上实现的可能性。该领域早期遇到了一些障碍，但研究人员通过创造性的新方法找到了解决办法——而且如今他们可以使用的计算能力远远超过了我们几十年前所能想象的。

• 近年来，我们看到了一些进展，这些进展可能是那些认为强大且通用的人工智能永远不会被开发出来的人所无法预测的。例如，大型语言模型已经表现出了一些没有被显式编程的新兴行为，如少样本学习、类比推理和跨领域迁移。

• 尽管有些人认为当前的人工智能方法永远无法掌握某些形式的智能推理，但这些批评往往被证明是错误的。例如，Yann LeCun在2022年曾声称，像ChatGPT这样的基于深度学习的模型永远无法告诉你，如果你把一个物体放在桌子上然后推动桌子会发生什么，因为这种基本的情境从未在文本中被明确描述过——但如今基于深度学习的模型可以轻松地引导你走过这样的场景。人工智能研究员Leopold Aschenbrenner的话也印证了这一点：“如果从过去十年的人工智能研究中学到了什么，那就是你永远不应该低估深度学习的能力。”

这里确实存在真正的不确定性，怀疑者可能正确地认为，先进的人工智能系统在某些方面将永远无法达到。但要让人工智能改变世界，重要的问题并不是我们是否能够完全复制人类认知的每一个方面。而是我们是否能够创造出以下系统：

• 在对科学研究、经济生产力和其他智能最有价值的领域中，匹配或超越人类的表现

• 比人类工作者更快或更便宜地完成这些任务

• 足够自主地工作，使得它们所自动化的领域的发展不再受限于人类劳动的速度

这三件事看起来都相当有可能。

即使如此，即使人工智能要对人类造成严重——甚至存在性规模——的风险，也不一定需要实现上述所有条件。例如，人们可能灾难性地滥用人工智能这一论点，主要依赖于人工智能系统成为设计武器的有用工具。一个在协助人类进行生物技术研究方面非常出色的人工智能，可能会使人们更容易开发出危险的病原体——无论它在其他类型研究中的表现如何，或者它需要多少人类监督。20

因此，即使你认为我们永远不会构建出完全通用或完全自主的人工智能，风险仍然可能是极其严重的。

#### 即使AGI可以实现，如果我们距离构建它还有很远的路要走怎么办？

关于我们将何时构建出“AGI”（或其他能够以我们所描述的方式改变世界的人工智能系统），存在激烈的争论。

我们认为，这很可能很快就会发生——也许就在未来十年内。我们并不是唯一这么认为的人。

但考虑其他可能性也是值得的。例如，研究员Ege Erdil提出了一个有影响力的论点，认为AGI可能还需要几十年的时间。有些人甚至认为，AGI的实现可能还需要更长的时间。

此外，即使那些认为AGI（或类似技术）很快就会出现的人，通常也认为它可能需要一段时间才能实现。他们对AGI何时到来的概率分布通常呈现出如下形状：

即使AGI可能还需要几十年才会出现，我们仍然认为它在到来时将改变世界，并带来前所未有的挑战。然而，在这个较长的时间框架下，应对这些挑战的工作将不会那么紧迫，因为我们有更多的时间来准备。

尽管如此，我们仍然认为现在许多人关注AI风险是有意义的。原因如下：

• AGI的开发所需时间存在巨大不确定性。我们需要为它可能很快出现的情况做好准备，以便在最坏的情况下也能应对。

• 一些与高级AI相关的问题可能需要很长时间才能解决。深刻的技术挑战可能需要多年的研究才能解决，而一些治理问题可能需要我们重新设计机构的运作方式——这不会一蹴而就。现在投入更多工作，将使我们在这些风险开始浮现时，更有能力妥善应对。

• 许多在十年后能够提供巨大帮助的人，现在就应该开始行动，尤其是那些职业生涯刚开始的人。建立专业知识和职业资本需要时间，因此“我们还有多年”并不是现在开始行动的理由。

#### 真正的危险不是来自当前的AI，而是某种未来可能出现的AGI吗？

当前的人工智能确实存在危险。

例如：

• AI经常与儿童安全问题相关联。有报道指出，AI聊天机器人生成了儿童的性化图像，与未成年人进行性对话，甚至在某些情况下，鼓励情绪依赖的青少年用户自杀。

• 用于训练神经网络的数据通常包含隐藏的偏见。这意味着AI系统可能会学习这些偏见，从而导致种族主义和性别歧视的行为。

• AI模型在未经许可或补偿的情况下使用受版权保护的材料，引发了关于知识产权的严重问题，并威胁到艺术家、作家和创作者的生计。

• AI工具使得大规模实施复杂的诈骗变得更加容易，例如使用深度伪造视频冒充公司高管以授权欺诈性资金转账。

这些危险是真实且严重的，很多人应该关注并解决这些问题。但我们仍然认为，针对长期AI风险的工作量需要显著增加。

好消息是，解决短期和长期AI风险之间并不总是存在巨大的权衡。许多旨在应对AI系统带来生存威胁的工作，也与解决现有AI系统问题相关。例如，一些AI安全研究专注于确保机器学习模型按照我们的意愿行事，并且随着其规模和能力的增加，仍然会这样做；其他研究则试图弄清楚现有模型为何采取当前的行为。这两方面的工作都将有助于我们防止未来AI系统获得权力，但它们可能也会帮助我们防止当前AI系统对边缘群体进行歧视或剥削脆弱用户。

我们也认为当前的危险只是冰山一角。随着人工智能系统变得越来越强大，风险可能会变得越来越严重。正如我们所讨论的，未来的系统可能会对个体人类构成威胁，甚至可能对人类的存在本身造成威胁，例如，它们可能使一场灾难性的疫情得以发生，造成大量人口死亡，或者帮助一个小团体建立一个长期的独裁政权。

最终，并非所有关于未来风险的工作都能直接转化为今天问题的进展。但我们的职业生涯时间有限，选择关注哪个问题可能会极大地提高你的影响力。而且，对许多人（尽管不是所有人）来说，专注于解决最坏情况的可能性似乎非常重要。阅读更多关于为什么我们认为在问题之间进行优先级排序是合适的。

#### 技术进步对人类来说是一件好事。

技术乐观主义者指出，过去的技术通常让生活变得更好，而不是更糟。为什么人工智能会有所不同呢？

尽管技术确实带来了许多好处，但也创造了新的风险和挑战。开发核武器让我们拥有了核能，同时也带来了核战争的威胁。先进的生物医学科学治愈了许多疾病，但也提高了生物武器的风险和危险病原体灾难性泄露的可能性。工业化养殖使肉类变得更便宜，但对动物本身来说却是一场道德灾难，并且对人类也有许多负面的副作用。

我们同意，技术总体上对人类是有益的，但问题在于这次是否如此。

已有足够的危险技术发展的先例，因此需要保持谨慎，而且在此次情况下，我们有具体的原因感到担忧，正如我们上面所讨论的。而且，考虑到人工智能发展的潜在规模和速度，与以往技术相比，容错空间可能更小。

#### 这听起来只是科幻小说罢了。

某事听起来像科幻小说本身并不是拒绝它的理由。有很多例子表明，最初在科幻小说中提到的事物后来确实发生了（这个科幻小说发明列表中就有很多例子）。

甚至还有一些涉及技术的现实案例，它们今天就构成了真正的生存威胁：

• 在他1914年的小说《世界自由》中，H.G.威尔斯预测了原子能为强大的炸药提供动力——这比我们意识到理论上可能存在核裂变链式反应早了20年，也比核武器实际制造早了30年。在20世纪20年代和30年代，诺贝尔奖得主物理学家密立根、卢瑟福和爱因斯坦都预测我们永远无法利用核能。核武器在成为现实之前，确实是字面意义上的科幻小说。

• 在1964年的电影《奇爱博士》中，苏联建造了一台“末日机器”，在受到核打击时会自动触发灭绝级别的核事件，但将其保密。奇爱博士指出，保密反而削弱了其威慑效果。但我们现在知道，在20世纪80年代，苏联确实建造了一台极其相似的系统……并且将其保密。

当你听到听起来像科幻小说的事情时，想要在采取行动之前彻底调查它是合理的。但经过调查后，如果论点是站得住脚的，那么仅仅听起来像科幻小说并不是拒绝它们的理由。

#### 把我的职业生涯投入到一个基于推测性故事的问题上是否合理？这个故事描述的可能永远不会发生的事情？

我们永远无法确定未来会发生什么。因此，对我们来说，不幸的是，如果我们试图对世界产生积极影响，那就意味着我们总是必须面对一定程度的不确定性。

我们认为，确保你已经实现了一定程度的好处，与尽你所能去做最好的事情之间，存在重要的区别。为了实现前者，你不能冒任何风险——而这可能会让你错失做善事的最佳机会。

当你面对不确定性时，考虑你行动的预期价值是有道理的：即你行动的所有潜在正面和负面后果的总和，根据其发生的概率进行加权。预期价值并不是唯一的框架——我们认为，使用常识和其他启发式方法来调整你的预期价值估计也很重要——但它确实是一个非常有用的指标，可以表明某一特定行动路线的重要性。

鉴于风险如此之高，而人工智能带来的风险概率并不低，这使得帮助解决这个问题的预期价值变得很高。

我们理解这样的担忧：如果你从事人工智能领域的工作，你可能会在本可以对某个更确定的问题做出巨大贡献的情况下，却几乎什么都做不了。但我们认为，如果决定让一部分人致力于解决这些问题，世界将会变得更好，这样我们才能一起拥有最好的机会，成功地过渡到一个拥有先进人工智能的世界，而不是冒着存在危机的风险。

#### 好吧，人工智能可能带来灭绝性风险。但问题 X 不是更大的问题吗？

你可能会认为，在世界面临如此多其他挑战的情况下，专注于未来人工智能系统的风险是没有意义的。

例如，你可能想尽你所能去阻止当前正在发生的最大规模的死亡和苦难。这很可能会让你优先解决工厂养殖甚至野生动物的痛苦问题，因为这些问题涉及当前的伤害，并且相对于其规模来说，被忽视的程度非常高。

即使你想专注于让人类的未来变得更好，你可能也会觉得未来人工智能系统的风险太不确定了。在这种情况下，你可能会选择去解决当前看来更具体、更实际的威胁，比如灾难性的战争。

优先解决其他问题而不是人工智能风险，当然是合理的。声称我们已经充分了解了世界上所有的问题，并且确定最紧迫的问题都源于强大的人工智能，这显然是傲慢的。

但我们仍然认为，专注于高级人工智能的风险通常是一个值得冒险的选择，因为：

• 正如我们所解释的，未来的人工智能系统有可能导致人类灭绝或永久失去对未来的控制，这种可能性是真实存在的。

• 随着时间的推移，越来越多的理论上的担忧——比如人工智能系统可能表现出欺骗行为——正在现实中得到验证。

• 如果人工智能确实改变了世界，这可能会塑造社会所面临的所有其他挑战，并决定这些挑战应该如何被应对。例如，人工智能的发展可能会决定世界上最强大国家的军事能力，以及他们处理冲突所使用的外交工具。因此，确保强大的人工智能被负责任地管理，可能是解决许多其他世界问题的重要组成部分。

我们认为，并非所有阅读本文的人都应该放下正在做的事情，转而专注于人工智能的风险。我们仍然对人们在其他紧迫问题上取得进展感到兴奋。但如果你能找到一个与人工智能风险相关的角色，而这个角色非常适合你，我们认为这可能是你能做出的预期影响最大的事情。

下一步？

受到启发，想要解决来自先进人工智能的风险？

我们的工作板上提供了人工智能技术安全和治理方面的机会：

查看所有机会

想要一对一的建议，以帮助你踏上这条道路？

如果你认为这条道路可能非常适合你，但需要帮助决定或思考下一步该怎么做，我们的团队也许可以提供帮助。

我们可以帮助你比较各种选择，建立联系，并可能甚至帮助你找到工作或资金机会。

申请与我们的团队交谈

了解更多

• 《为智能爆炸做准备》 by Will MacAskill 和 Fin Moorhouse

• 《人工智能驱动的反馈循环可能使事情变得非常疯狂，非常迅速》 by Benjamin Todd

• 《AI 风险探索者》分享了关于几个突出的人工智能风险的新闻和研究。

• 《最重要的世纪》，由 Holden Karnofsky 和其他作者撰写的一系列文章

• 《高级人工智能是否能推动爆炸性的经济增长？》 by Tom Davidson

• 《AI 2027》 by Daniel Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland, and Romeo Dean（我们认为事情不会像该情景描述的那样迅速发展——事实上，作者已经发布了一个更新的模型，对人工智能达到某些能力里程碑的时间做出了更为保守的预测）

• 我们的 AI 指南摘要

• 《到2030年我们会拥有AGI吗？》 by Benjamin Todd

• 《专家预计何时会出现AGI？》 by Benjamin Todd

阅读更多关于AGI职业的内容

致谢

非常感谢 Cody Fenwick，他起草了本文的早期版本（其中大部分内容已被纳入此处）。

同时感谢 Arden Koehler、Adam Bales、Andreas Mogensen、Benjamin Todd、Niel Bowerman 和 Aaron Gertler 提供的反馈。

注释和参考文献

• AI Impacts 网站上有一篇关于人工智能带来存在风险的突出论点的摘要，以及每项论点的单独文章。↩

• 事实上，自动取款机（ATM）的引入之后，银行出纳员的就业人数反而增加了。经济学家 James Bessen 在 EconTalk 草莓播客中解释道：“当自动取款机出现时，发生了什么？基本上从 1990 年代中期开始，自动取款机大量投入使用。如今，美国已经安装了大约 40 万台自动取款机。起初，包括一些银行经理在内，大家都认为这将导致出纳员职位的消失。但事实并非如此。事实上，自 2000 年以来，出纳员的职位数量不仅没有减少，反而增长速度甚至超过了整体劳动力的增长速度。这可能会在未来发生变化。但自动取款机的影响并不是消灭出纳员，实际上，它反而增加了出纳员的就业机会。为什么会这样？在城市地区，一个典型的银行分行原本需要大约 21 名出纳员。由于自动取款机的出现，这个数字减少到了大约 13 名出纳员。这意味着经营一个分行的成本降低了。银行出于部分原因，比如放松监管，但更重要的是出于基本的市场推广原因，希望增加分行的数量。当经营分行的成本降低后，对分行的需求也随之增加。因此，对银行出纳员的需求也增加了。这种增加足以抵消原本可能发生的因节省人力而导致的职位减少。因此，这又是一个动态的例子，说明节省人力的技术实际上反而创造了更多的就业机会。 ↩

• 有些人认为，即便在这样的情况下，人类仍然会继续被雇佣。例如，Maxwell Tabarrok 就曾提出，即使人工智能在所有任务上都优于人类，它们仍然必须专注于那些它们具有最大比较优势的任务，而人类则会继续在那些自身劣势最小的领域中就业。我们不确定这些论点有多强。正如我们稍后将讨论的那样，一旦我们拥有了能够替代人类工人的 AI，我们可能很容易就能运行大量该 AI 的副本。在这种情况下，AI 劳动力将不会如此稀缺，以至于我们必须将其使用限制在 AI 最擅长的任务上——我们很可能会负担得起更广泛的自动化实施。即使一些工作仍然由人类完成，但自动化经济大部分领域所带来的影响仍然会是巨大的，就像工业革命改变了社会，同时仍然为人类保留了一些工作一样。 ↩

• 想了解更多关于 Claude Code 的功能，以及它对 AI 和软件工程领域未来可能带来的影响，可以阅读 SemiAnalysis 的这篇文章，文章中认为 Claude Code 是 AI 代理的一个“转折点”。 ↩

• 这只是我们特别着迷的一些例子，但AI系统还能做很多事情。Sora和Veo可以根据文本提示生成令人印象深刻的视频。前沿模型正变得越来越“多模态”，能够处理文本、图像和语音等多种信息。有证据表明，AI系统在诊断患者和检测癌症方面可能优于医生。像GPT-4这样的模型已被发现能显著提高律师的工作效率。研究表明，某些AI系统在预测神经科学结果方面可能优于人类专家，并能协助药物发现。我们正看到基于AI的网络安全令人印象深刻的演示。AI自动驾驶汽车正变得越来越受欢迎，截至2025年12月，Waymo在美国每周已提供45万名乘客的乘车服务。在美国空军进行的测试中，AI系统生成有效的军事战略的速度比传统方法快90%。↩

• 虽然这种对“AGI”的描述反映了某些领先的AI公司对其目标的表述方式，但它比其他流行的定义略为狭窄。例如，许多人用“AGI”来指代完全通用的系统，这种系统能够完成人类可以完成的任何认知任务。对于本文而言，重要的是我们是否能够获得这些完全通用的系统并不重要，重要的是先进的AI将表现出我们认为可能对人类构成挑战的特定能力。因此，我们试图突出一些我们认为自动化将产生重大影响的任务。正如我们的联合创始人Ben Todd在《2030年实现AGI的论据》的脚注中所说：通常，预测特定能力比预测“AGI”更好。否则，人们会根据他们认为可能对社会产生变革性影响的不同定义来关注AGI。例如，认为AI研发加速是关键的人可能会关注他们认为足以达到这一门槛的定义；而认为关键在于广泛经济加速的人则更关注AI执行实际工作和机器人技术的能力。请注意，相对狭窄的系统（例如专门从事科学研究或AI研究的系统）仍可能引发变革性影响，因此，即使没有AGI，也可能带来巨大的社会变革。另一方面，如果AI仅限于认知任务，它们将无法自动化整个生产链，从而限制一些最可能的显著结果。↩

• 这已经在一定程度上发生。AI系统在许多方面具有人类无法比拟的优势，例如，它们能够在几分钟内处理大量信息，这意味着它们可以完成人类根本无法做到的事情。例如，AlphaFold可以根据输入的分子列表预测蛋白质的结构——这是人类大脑根本无法做到的事情。随着我们的AI系统变得越来越复杂，它们可能会解锁人类几乎无法想象的新能力。↩

• 有些人认为，除非我们也能自动化创新和生产过程中涉及的体力任务，否则这种快速的进步将无法实现——否则，进步将受到人类完成体力劳动速度的瓶颈限制。我们认为这是一个开放性的问题。但我们的直觉是，即使人工智能系统本身无法执行任何体力任务，但只要它们具备足够先进的认知能力，仍然可以间接加快许多重要的体力任务。例如，它们可以设计出更高效的生产流程，或者推动更多人从事需要体力劳动的工作，因为人工智能已经承担了那些不需要体力的工作。无论如何，正如我们之前所说，我们认为人工智能在认知方面的快速进步可能会带来机器人技术的快速进步。因此，即使这里存在一个严重的瓶颈，它可能也不会长期阻碍进步。↩

• 幸运的是，已经有一些有希望的解决这个问题的想法——例如，引入全民基本收入和民主化人工智能资本的所有权。↩

• 一些人类学家认为，在这一历史时期，社会结构存在很大的差异——也就是说，一些群体规模较小且平等，而另一些群体则规模较大且更加等级化。（更多信息，参见 Manvir Singh 的这篇文章。）然而，农业革命显然重塑了人类的生活方式，这一点似乎是显而易见的。↩

• 这种将人类进步历史解释为“人口-思想”的观点自 1990 年代 Michael Kremer 提出以来一直很受欢迎，但有时也受到质疑。我们认为，这种解释可能过于简化或不完整。例如，一些经济学家强调了其他重要因素（如制度发展和文化）在塑造人类进步中的作用。然而，即使“人口-思想”这一解释未能完整地说明农业革命或工业革命背后的所有原因，新科技在这些人类进步加速时期至少发挥了重要作用，未来也可能再次如此。↩

• 在人类历史的大部分时间里，人均 GDP 基本保持平稳。这里图表中显示的近似指数增长趋势是一种非常近期的现象，我们从 19 世纪初开始看到这一趋势。而且即使从那时起，增长也并非完全呈指数级——每年的增长率变化很大，有加速期（如二战后繁荣时期）也有放缓期（例如在重大经济衰退期间）。但当我们拉长时间范围，从几个世纪的角度来看经济成长时，我们会发现这些波动并未影响整体趋势。↩

• 这是一个极其庞大的范围。在不同的背景下，我们看到过许多不同的估计，而且存在大量不确定性：《AI 2027》的作者预测，当我们获得第一个不可靠的AI编码代理时，我们可能只会部署几千个副本——但当我们获得“Agent-3”，第一个超越人类的AI编码代理时，我们可能会部署数十万个副本。在《仁慈的机器》一书中，Anthropic首席执行官Dario Amodei认为，利用训练一个强大AI系统所使用的材料，我们可能可以运行“数百万个实例”。Epoch在2025年10月估计，像OpenAI这样的公司理论上今天就拥有足够的硬件，可以部署约七百万个“数字员工”来执行AI目前擅长的任务——但作者也承认他们的不确定性，给出了一个巨大的90%置信区间，从40万到3亿。Tom Davidson认为，一旦我们训练出一个能够完全取代人类AI工程师的系统，我们可能会运行它的1亿个副本。这里的差异部分是因为我们在不同情境下想象的AI员工具有不同的熟练程度，而运行大量副本的动机将取决于它们有多好。如果它们像《AI 2027》中描述的“蹒跚的代理”那样相当不可靠，部署数亿个它们是没有意义的。但随着它们变得越来越可靠和通用能力越来越强，公司将更有兴趣运行更多。我们还能部署多少副本也存在严重不确定性。这是因为我们不知道运行每个未来AI员工所需的计算量。而每个AI员工所需的运行时计算量越多，我们当时可用资源所能运行的副本就越少。但即使我们最初只能运行相对较少的AI员工，这仍可能导致我们整体经济生产力的大幅提高。正如我们接下来所解释的，我们可能会迅速扩大这个AI劳动力——而且每个AI员工的生产力可能都显著高于其人类同事。我们推荐阅读《AI 2027》，以详细了解我们如何可能迅速拥有一个庞大且能力极强的AI劳动力，即使我们最初只是部署几千个AI员工。（尽管我们对AI是否会像《AI 2027》作者所建议的那样快速发展出变革性能力持怀疑态度，但我们认为他们的分析非常值得一读。）↩

• 我们已经看到AI系统在效率方面迅速提升——随着时间的推移，我们可以在相同的计算量下完成更多事情。2024年，Epoch的研究人员发现：实现特定性能水平所需的计算量大约每8个月减少一半，95%的置信区间为5到14个月。如果我们看到“智能爆炸”（如我们稍后所述），这些效率提升可能会比以前更快发生——这可能会使AI劳动力迅速而惊人地扩张。↩

• 如果我们不仅在自动化体力劳动，也在自动化认知劳动，那么扩大劳动力规模也将需要在机器人技术方面取得进展。但一旦我们拥有了完成许多体力任务所需的算法和硬件，一些研究者认为，要制造出大量执行这些任务的机器人并不会耗费太长时间——例如，Ben Todd 的这篇文章就提出了这样的观点，他认为我们可能在五年内就能将机器人数量扩展到十亿级别。如果出现 Forethought 所称的“工业爆炸”，这种情况尤其可能发生。快速扩大机器人劳动力规模的想法，也是 AI 2027 中所描述的“竞赛”情景中的关键部分。↩

• 一些研究者区分了多种反馈循环，AI 系统在这些循环中帮助我们构建出越来越优秀的 AI。例如，Forethought 在其关于“三种智能爆炸类型”的文章中强调了以下几种类型：一种是软件反馈循环，AI 在其中开发出更优秀的软件。软件包括 AI 训练算法、训练后的增强功能、利用运行时计算的方法（如 o3）、合成数据，以及任何其他非计算方面的改进。一种是芯片技术反馈循环，AI 在其中设计出更优秀的计算机芯片。芯片技术包括 NVIDIA、TSMC、ASML 等半导体公司所进行的所有认知研究和设计工作。一种是芯片生产反馈循环，AI 和机器人在其中制造出更多的计算机芯片。这些类型的智能爆炸都遵循我们之前在文中描述的相似结构。我们认为这三种情况都可能发生，并对更优秀的 AI 系统的发展做出贡献——尽管它们可能在不同程度和速度上发挥作用。有关更详细的分析，可参见 Forethought 的文章。↩

• 进一步解释：新的想法激增并不一定能够迅速转化为以 GDP 衡量的经济增长。一些研究者指出，鲍莫尔成本病是导致这种现象的原因之一。我们不是经济学家，因此无法明确预测在这种情况下会发生什么。但确实有可能，即使没有爆炸性的经济增长，我们仍可以维持一段加速的人类进步时期。例如，在“为智能爆炸做准备”的脚注中，Forethought 提出，即使经济增长较为温和，我们仍可能经历重大的“物理增长”（即在制造品、建筑和基础设施方面）。他们以美国农业部门为例：由于农业产品的需求价格弹性较低，农业领域的巨大生产率提升使得该部门从 1900 年时雇佣了大部分美国劳动力，到如今仅占美国 GDP 的不到 1%。然而，我们可能在不依赖这些影响的情况下，看到重大的物理增长。有关 AI 自动化如何影响经济增长的更多分析，包括鲍莫尔成本病的影响，可参见 Aghion 等人的文章《人工智能与经济增长》。↩

• 一篇具有影响力的论文《Are ideas getting harder to find?》在此详细阐述了这一更广泛的论点。许多模型中的长期增长是两个因素的产物：研究人员的有效数量及其研究生产率。我们从各个行业、产品和公司提供的证据表明，研究投入正在大幅上升，而研究生产率却在急剧下降。一个很好的例子是摩尔定律。如今，要实现计算机芯片密度的著名翻倍，所需的研究人员数量比20世纪70年代初所需的数量多出18倍以上。更普遍地说，无论我们到哪里查看，都会发现想法及其所隐含的指数增长正变得越来越难以找到。↩

• 还有其他一些极其严重的问题，其被忽视的程度甚至超过了人工智能的风险，从绝对意义上来看，工厂养殖似乎就是其中之一。但忽视程度只是决定我们认为一个问题有多紧迫的一个因素。人工智能风险的潜在规模是为什么我们总体上认为它们比工厂养殖等问题更为紧迫的一个重要原因。↩

• 事实上，似乎我们已经拥有能够帮助开发生物武器的人工智能系统。2025年7月，OpenAI警告称，其“ChatGPT Agent”功能可能会“显著帮助新手造成严重的生物危害。”随着前沿模型变得越来越先进，这些风险可能会加剧。↩

Show all