80,000 Hours Podcast播客18:48

How the New Congress Can Save Us From AI Disaster | Rob Wiblin

7.1内容质量
How the New Congress Can Save Us From AI Disaster | Rob Wiblin

播客收听

时长 18:48原播客页面

问这期播客

会先在本集摘要、章节、转录和笔记里找答案。

TL;DR · AI 摘要

Title: How the new Congress saves us from AI disaster 80,000 Hours URL Source: Published Time: Sat, 14 Nov 2026 00:45:52...

核心要点

  • 主题聚焦:How the New Congress Can Save Us From AI Disaste
  • 来源:80,000 Hours Podcast,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。

章节

  1. 要点

    主题聚焦:How the New Congress Can Save Us From AI Disaste

    主题聚焦:How the New Congress Can Save Us From AI Disaste

  2. 要点

    来源:80,000 Hours Podcast,建议结合原文判断细节。

    来源:80,000 Hours Podcast,建议结合原文判断细节。

  3. 要点

    AI 分析暂不可用,本条为保底评分与摘要。

    AI 分析暂不可用,本条为保底评分与摘要。

转录

这期还没有可搜索转录。后续抓到带时间戳的内容后会自动补到这里。

#AI#安全#产品

节目笔记

转录稿

_更喜欢带图片的转录稿?请查看我们的Substack 跨平台发布。_

目录

可能决定AI未来的国会 [[00:00:00]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=0)

Rob Wiblin: 我们现在知道了国会的组成情况,这可能将是AI历史上最重要的两年。

民主党大获全胜,远超所有人预期。他们在众议院将至少获得250个席位,在参议院则将获得100个席位中的56个——包括密西西比州、南卡罗来纳州和堪萨斯州的席位,这是他们100年来首次获胜。此外,他们还在得克萨斯州以11个百分点的优势获胜,席卷了该州所有职位。

AI并不是本次选举的前三大议题,但它可能是引发选民反弹的第四或第五大因素。这是政府政策与选民所宣称的诉求之间明显脱节的领域。

所有这些都使得国会更有可能在AI发展的关键时期采取重大行动。那么接下来两年最可能发生什么?有哪些最可能让事情向好的方向发展的途径?

制定AI法规仍将面临困难 [[00:00:49]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=49)

至少从我的角度来看,先来说说坏消息。尽管国会发生了巨大变化,且AI在其中发挥了作用,但通过一项强有力的独立AI法案仍然不会简单。

要推动立法通过的第一道门槛是获得参议院60票以突破冗长辩论。实际上,对于AI法案来说,这可能实际上是可行的。

问题在于,国会内部的党派分歧程度可能比你预期的要小得多,考虑到特朗普对前沿技术监管的强硬立场,或任何具有约束力的AI法规。

在普通民众中,民主党人和共和党人对人工智能的看法大致相同——换句话说,都出奇地负面。五分之四的美国人希望政府即使减缓发展速度也要保持人工智能安全规则,包括近80%的共和党人。尽管67%的美国人认为人工智能发展速度过快,但只有2%的人认为发展速度过慢。

此外,一些共和党参议员在推动人工智能立法方面发挥了领导作用,包括乔什·霍利、约翰·肯尼迪和玛莎·布莱克本,我们可以猜测还有更多人对此保持默许态度。

但总统对国会通过的任何立法都拥有否决权,推翻该否决需要参议院获得67票、众议院获得290票。在当前整体担忧程度下,这将非常难以实现——或者需要大幅削弱规则,使其变得不再特别有用。

但这还远未到终点。

国会可以立即采取的四件事 [[00:01:59]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=119)

即使存在否决权的威胁,国会至少有四种方式可以立即取得进展。

第一种是通过两党都普遍支持的常识性措施,其中一些措施在参议院可能获得70票、80票甚至90票的支持。

例如,目前看来,中国政府似乎有能力并且正在窃取美国人工智能公司的模型权重——从某种意义上说,这实际上让他们对前沿模型的访问权限比美国政府本身还要广泛。

国会没有人喜欢这种局面,立法可以要求公司在继续训练更强大模型之前先解决这个问题。

国会可能还存在两党多数支持恢复并加强对华出口管制,以及针对芯片走私的执法行动,我认为这将加强美国的谈判地位,如果未来美国真的想推动与中国的AI条约。

虽然尚不明确,但也有迹象表明,国会可能在一些议题上形成跨党派的超级多数支持,例如对AI员工的举报人保护、向国会强制报告事件,以及所谓的“关闭开关”。

随着形势发展,能够获得两党多数支持的条款范围只会不断扩大。

第二类是必须通过的立法:这些法案维持政府运转,例如年度国防授权法案。总统很难否决这类法案,因为这意味着政府停摆或没有国防预算。因此,这类法案正是两党达成协议的场所。

这类协议中最明显应包含的内容,是为CAISSI提供充足资金——这很可能是美国AI监管的所在地,我稍后会再回到这个话题。

第三条路径影响最小,但我也要提一下。内阁成员和许多其他高级官员需要获得参议院确认,因此参议员可以对AI相关职位的候选人进行质询,并否决或拖延那些与参议院自身AI立场严重不符的人选。

第四条路径非常重要。它涉及举行听证会并收集信息。参议院和众议院有太多问题需要要求公司员工在宣誓下作答。

例如:AI群体接管OpenAI研究集群的黑客事件,完整情况究竟是什么?我们仍未得到完整信息。

OpenAI也表示其有证据表明使用循环变压器并未显著降低可监控性。他们进行了哪些实验来评估这一点?

在Anthropic,他们有哪些证据表明持续推进递归自我改进是安全的还是不安全的?

OpenAI、Anthropic和Google目前正在训练哪些模型?他们使用了多少计算资源?

这些公司是否进行了任何安全测试,结果尴尬到不愿公开?

这些都是值得提出的好问题,对国会议员来说可能也很有趣。在接下来的两年里,这四条路径可能能够完成大量工作。但它们都围绕如何规避否决权展开,而非直接克服否决权。

为什么变通措施将不够 [[00:04:25]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=265)

不幸的是,我认为仅靠绕开问题并不能让我们顺利度过这个阶段。我们需要在政策层面做出比之前描述的任何措施都更根本的转变。

至少,我们需要在模型能力达到人类水平时减缓AI竞赛,为AI公司创造喘息空间,使其能够测试模型的性质和人格,审查其工作内容,并完善对齐技术。

如果没有这个额外的缓冲期,我们很可能会创造出超级智能机器,它们虽然存在对齐偏差,却能完美隐藏这一事实——而这种情况,或其它失误,最终可能导致彻底的灾难。

这些公司自身正在恳求获得这个时间窗口。但据我所知,目前国会中尚未出现足够支持相关规则的超级多数派。

这是一个非常严重的问题,因为越来越多的证据表明,到2027年就可能实现AI研发的完全自动化,这将显著加速研究进展——包括上周发布的METR最新报告。

因此,我们迫切需要加州立即采取重大措施作为临时应对方案,直到国会能够介入,我希望能就此在另一段视频中进行详细讨论。

但真正推动国会采取行动的事件,是Hugging Face遭入侵事件和Jacob Coxon的辞职。这些事件在两党参议员质疑OpenAI和Hugging Face安全问题的背景下增强了国会的行动意愿。

要改变特朗普的立场,或获得国会超级多数派以克服他的否决权,我猜测需要再次展示AI的能力或行为,其震撼程度至少与前述事件相当。

为未来的警示做好准备 [[00:05:44]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=344)

下一次警示可能以多种形式出现。

在低端场景中,我们可能再次遭遇类似Hugging Face的事件,但这次将展示AI的长期权力追求行为,或中断普通用户依赖的服务。

在高端场景中,我们可能目睹AI网络战能力瘫痪关键基础设施,或出现无法完全关闭的流氓AI,甚至引发AI导致的全球大流行。

事件发生后的数天乃至数周,可能是人工智能政策最关键的时期——这将决定我们是走上更好的发展道路,还是避免未来更严重的灾难。

一些人应立即着手改善政策,既为了直接利益,也为了积累经验和建立关系。但如果行动意愿很快会比现在高出10倍甚至100倍,显然许多人也应为那个时刻做好准备。这意味着要准备好每周工作100小时,更要优先思考并起草优秀的立法方案,趁现在还有时间仔细推敲、确保方案正确。

为什么准备工作至关重要 [[00:06:35]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=395)

为那个时刻做准备的人应预期,届时的政治环境将与今天截然不同。我认为有三种主要变化会不可避免地发生。

迄今为止,人工智能监管一直力求在尽可能少干预企业活动的前提下提升安全性。如果警告信号足够严重,公众情绪可能变得如此愤怒,以至于这一限制可能消失,甚至彻底倒转。

干涉模型训练或部署,或只是对人工智能公司发泄愤怒并进行干预,可能被公众或政界人士视为积极可取的行动,而非需要最小化的干扰。

第二大转变是,在人工智能监管讨论中,典型的立法者将对这一议题了解更少,因此整体氛围将少了许多技术官僚主义色彩。

第三,公众将参与得更多,政界人士必须向普通民众推销他们采取的措施。这意味着需要提炼出核心的简单信息,并解释清楚他们所做的事情为何能真正解决问题。

口号将是“禁止超级智能” [[00:07:28]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=448)

我的猜测是,更知情的群体将团结在“禁止超级智能”或“禁止超人类人工智能”这一简单信息周围。

这是一个易于解释的简单概念,直觉上也让人觉得它有助于解决问题。与完全禁止人工智能不同,它看起来更具可行性。

而且,民调显示美国公众已普遍反对训练超级智能机器——那些在所有领域完全超越人类专家的机器。这是一个足够自然的构想,以至于国会和参议院已提出相关立法以实现这一目标:禁止超级智能。

不言而喻,为这一时刻做准备的人需要提前解决巨大的实施挑战。例如:立即向中国提议的最佳条约是什么,能让两国共同控制前沿技术?我们具体将限制或禁止哪些内容?以及政策将如何随着时间演变?

一个有前景的解决方案是,我们不再限制训练次数,而是要求AI公司必须将最低比例的计算资源用于为外部客户提供推理服务。如果将这一最低比例设为100%,这实际上相当于对所有AI产品运行实施研究暂停——对AI用户来说,这会立即带来好处,因为他们将能够以更低的价格购买推理服务。

退出计划是逐步放宽这一限制,例如降至70%。但如果出现新的警告信号,我们可以再次提高这一比例,以更严格地控制前沿技术的发展速度。实际上,监管机构可以设定这一数值,以实现其认为理想的AI进步速度——就像美联储设定利率以保持经济不过热也不过冷一样。

这些措施需要技术专家参与,进行周密的预先规划和立法起草,特别是要熟悉前沿公司运作方式的专家。

限制递归自我改进 [[00:08:58]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=538)

除了那些响亮的公共口号之外,还有一些想法过于小众,无法成为动员口号,但我觉得现在值得深入探讨,并且很可能应包含在任何紧急应对方案中。

我最兴奋的是通过禁止AI公司使用最新模型进行研究或任何其他工作,来限制递归自我改进的具体机制。

规则可能如下:出于内部用途,AI公司只能使用至少六个月前完成训练并已公开发布的模型。

公司无法抱怨这一规定荒谬且使工作无法进行。因为六个月前他们显然能够完成工作。因此,这一规定本身不会完全停止AI研究进展,但会显著减缓其速度,并使AI发展真正爆发或对齐失控的可能性大大降低。

这是因为任何能力提升至少需要六个月后才能反馈到递归自我改进循环中。我们还可以利用这六个月时间,对模型进行广泛的对齐测试,确保在模型获得控制权并设计其继任者之前,已经完成充分验证。

该政策对递归自我改进速度越快、越强的系统,其减缓效果越显著,这正是我们希望达到的效果。如果六个月的延迟被认为不足,我们可以直接延长间隔时间。如果将间隔延长至一年、18个月或两年,就逐步接近对递归自我改进的全面禁止。

我们理想情况下不希望干扰针对安全性和对齐性改进的研究,为此,公司可以向CAISSI申请特定项目的豁免。为了减少公司将能力研究伪装成对齐研究的动机,规定可以要求任何使用较新模型完成的工作,必须在完成后立即完整公开——这意味着任何能力研究都会立即与竞争对手共享。

这种方法确实存在一些弱点。如果一家公司发现某个旧模型在某些方面存在他们当时未意识到的偏差,他们无法简单地用一个他们认为更对齐的新模型来替代。我们需要一些变通方法来解决这个问题。

但总体而言,这似乎是一个值得深入发展的有潜力的思路。如果国会愿意在未来短期内采取任何重大措施来限制AI公司的研究实践,那么这是我目前所知最值得附加到必须通过法案中的宝贵规则。

强制可监控性 [[00:11:11]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=671)

对我来说,下一个最有前景的思路是禁止具有令人担忧的无思维链能力的模型。

简而言之,我们不会直接禁止能力过强的模型。而是禁止那些在思维链中未记录任何推理过程就能完成过多任务的模型。

如果模型在没有思维链的情况下无法完成太多任务,我们将更容易监控它们,它们也更难对用户进行欺骗性行为。这样的规则将迫使公司重新思考如何设计具有更少串行深度的根本性安全架构的AI。

人们还提出另一种方法,即禁止过度使用强化学习来生成超级持久的智能体,因为这些强化学习环境似乎在当前阶段对引发AI行为偏差起到了不成比例的重要作用。或许可以设定一个RLVR生成数据在训练模型时的使用上限。

另一个可能性是,前沿AI的训练和研究必须在完全沙盒化、物理隔离)的设施中进行。

我不知道这些想法在实践中是否能有效实施。我们需要聪明的技术人员深入思考并找到解决方案。

停止数据中心是否有用? [[00:12:12]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=732)

这些更技术性的想法是我个人会投入精力的方向。但除了“禁止超级智能”之外,我预计最能获得广泛支持的口号将是一个更具体的措施:停止建设数据中心。

数据中心在中期选举期间成为40多个地方的直接议题,反方在这些选举中赢得了除一个以外的所有投票,通常以三比一的比例获胜。

假设这是一次严肃的警告射击,阻止更多计算资源上线确实是一个正确的方向。这也是开始建立更广泛联盟的好地方。

但如果你和我一样,最担心的是对AI失去控制,或者生物、网络领域的误用,或者极端权力集中,那么单独推动这项措施可能并不是最有效的选择。

关键是,如果我们已经处于可能失去控制的临界点,仅仅停止新增芯片并不能解决问题。至多只能让问题保持现状。

要真正降低风险,需要限制公司研究和部署实践(如我之前所述),或者需要主动将现有芯片从数据中心断开连接。同时也不能允许芯片被转移到美国以外的数据中心——这并不能显著改善现状。因此,若要真正有效,数据中心建设禁令必须与更严格的出口管制相结合。

因此,单独的数据中心禁令并非我的优先事项,但可以作为更全面应对方案中的一项有用措施,在我们用其他政策灭火的同时,避免继续往火上浇油。

政府需要掌握可见性 [[00:13:32]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=812)

无论最终采取何种禁令和限制措施,还有一个容易被低估的关键环节:确保政府能够准确判断我们仍面临多大程度的危险。

如果你想在数年内而非数月内控制AI发展前沿,就需要逐步增加全球协调、适当执行和计算资源管控——这些在原则上都是可行的,但会显著增加实施难度。

要持续推动这些措施,政治层面采取行动的意愿必须与威胁的严重性同步提升。迄今为止的经验表明,关于AI模型能力的简单事实、它们正在产生的错位行为,以及导致这一切的公司疏忽做法——这些因素在改变人们认知方面比任何其他因素都更有效。

这意味着国会和行政部门获得对AI公司更多的透明度至关重要。

例如,公司应被要求立即分享任何重大事故或预警信号。CAISSI应自动获得公司所有测试或研究结果的访问权限。实际上,他们应该在公司内部派驻独立审计员,持续监督其行为,参照嵌入式银行监管模式进行监管。

我们需要更多AI专家加入CAISSI [[00:14:37]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=877)

除此之外,美国政府还需要一个独立的专家AI机构,能够理解大量涌入的信息,落实通过的法规,并根据情况变化进行调整。

不幸的是,一个由顶尖AI专家组成的政府机构无法在几周内迅速组建起来,这就是为什么国会必须立即为最适合承担这一角色的机构提供充足资金,该机构是“超级人工智能创新与标准中心”(Center for Advancing Innovation and Standards for Super Intelligence),简称CAISSI。

该机构确实有优秀的人才,但其规模和经费与所需承担的职责严重不匹配。它正在被英国同类机构远远甩在后面——用“被碾压”来形容毫不为过。

CAISSI每年仅依靠约1500万美元的经费运作,仅有几十名员工,而英国人工智能安全研究所仅技术团队就超过100人,预算更是达到CAISSI的8倍。英国已承诺在未来四年向该机构追加3亿英镑,并为新设立的AI生物安全、网络安全和失控AI事件相关机构投入数亿英镑。

考虑到经济规模,英国目前在AI领域国家能力建设上的投入已达到美国的50倍。这充分体现了英国的远见,但也令人难以置信。

其结果是,在真正发生严重危机时,美国可能不得不将大量AI风险评估工作委托给英国政府,因为本国尚未建立执行核心职能的能力。国会两党及白宫都应迫切解决这一问题。

幸运的是,这正是下一届政府拨款法案可以纳入的议题。白宫已要求将CAISSI预算几乎翻倍,我认为国会应采取更大幅度的行动。

制衡机制 [[00:16:06]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=966)

再次强调,这里还存在另一个高层挑战需要应对。我之前提到的所有措施,包括扩大CAISSI规模——所有这些都会将更多权力集中到行政部门手中。如果行政部门有意为之,这种权力可能被用来胁迫企业去做与安全无关的事情。

理想情况下,我们应该建立内置的保护机制,例如为企业提供充分的法律途径,使其能够在联邦法院对任意或违反第一修正案的决定提出挑战,或对缺乏安全合理性的决策进行申诉。

细节在此处至关重要。允许企业获得初步禁令以预先阻止CAISSI等机构的裁决,可能会带来太大风险。但我们确实希望企业能够及时(如果可能的话,两周内)对明显具有政治动机的决定提出异议并推翻。

在最坏的情况下,如果国会得出结论认为行政部门根本不会执行其通过的规则,或者只会利用这些规则来实现党派政治目标,国会可能被迫只能扮演辅助角色,帮助像加州和德克萨斯州这样的州承担主要工作,至少在一段时间内如此。

这里的权衡取舍非常难以处理,这也是需要提前思考的另一件事,而不是在紧急情况发生时才临时应对。

不要阻碍各州 [[00:17:12]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=1032)

这里还有一个需要警惕的陷阱。迄今为止,人们的预期是当国会通过一套重要的AI规则时,它将优先于州法律并大幅限制各州监管AI的能力。但在我看来,默认情况下,任何类似条款都应排除在紧急法案之外,除非先发出某种警告。

到那时,各州可能已经制定了强有力的规则,并建立了实际运作的监管体系和机构。鉴于目标是立即加强安全措施,删除这些规则将完全违背初衷,可能导致至少暂时放松管控。

留下一些好想法 [[00:17:46]](https://80000hours.org/podcast/episodes/congress-ai-policy-after-midterms/?t=1066)

中期选举结果大幅提高了国会采取行动降低AI风险的可能性,这是好事。但这种行动能否及时发生,或者以真正明智的方式发生,远非确定。

如果你了解前沿模型的实际训练方式,这项工作非常需要你参与。

除了AI Futures Project和Secure AI Project等机构外,还有许多人在研究这些主题。一些对这些问题有深入理解的政治人物——尤其是Scott Wiener——即将首次进入国会,他们无疑会开始制定提案。

当危机最终来临时,人们常说“周围已有的想法”决定了最终采取的行动。这个说法之所以成为老生常谈,是因为它基本正确。

关于这个话题的政治意愿只会朝着一个方向发展。我们的任务是确保当关键时刻到来时,周围已有的想法是高质量的——真正能解决问题的想法。在这方面,收听本节目的听众具有独特优势。

如果我们成功做到这一点,这可能正是避免AI灾难的两年。

最后,我将很快再次与大家交流。