39 specific projects to improve our chances with AGI | Holden Karnofsky, Anthropic

播客收听
问这期播客
会先在本集摘要、章节、转录和笔记里找答案。
TL;DR · AI 摘要
AI安全领域存在大量可实施的项目,能显著降低AGI风险,但当前行业缺乏协调与行动。
核心要点
- Anthropic等公司可采取多种低成本措施降低AI风险,而无需牺牲竞争力。
- 直接与企业合作推动安全承诺,比依赖监管更高效。
- 当前AI行业普遍忽视安全风险,缺乏统一行动。
结构提纲
按章节快速跳转。
- §引言
Holden Karnofsky强调AI安全的重要性,并指出当前行业缺乏协调。
AI可能成为第二个能改变世界的物种,但其是否符合人类价值观尚未可知。
AI公司普遍追求速度,忽视安全风险,缺乏统一行动。
存在大量低成本、不影响竞争力的AI安全措施,可显著降低风险。
直接与企业合作推动安全承诺,比依赖监管更高效。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- AI安全与AGI风险
- 行业现状
- 缺乏协调
- 追求速度
- 可行措施
- 低成本安全措施
- 企业合作
金句 / Highlights
值得收藏与分享的关键句。
Holden Karnofsky认为,如果所有人都像他一样看待AI风险,行业可能会暂停发展,以确保安全。
Anthropic等公司若宣布放缓AI开发,其他公司可能将其视为利好消息。
在动物福利领域,直接与企业合作推动变革比依赖监管更高效。
章节
- 要点
Anthropic等公司可采取多种低成本措施降低AI风险,而无需牺牲竞争力。
Anthropic等公司可采取多种低成本措施降低AI风险,而无需牺牲竞争力。
- 要点
直接与企业合作推动安全承诺,比依赖监管更高效。
直接与企业合作推动安全承诺,比依赖监管更高效。
- 要点
当前AI行业普遍忽视安全风险,缺乏统一行动。
当前AI行业普遍忽视安全风险,缺乏统一行动。
转录
这期还没有可搜索转录。后续抓到带时间戳的内容后会自动补到这里。
节目笔记
转录文本
目录
冷启动 [[00:00:00]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=0)
Holden Karnofsky: 我们所知道的唯一一种能够改变世界、制造自己的技术、做一系列非常长的事项的物种,就是人类。
我们即将创造出第二种这样的物种。这个新物种会符合我们的价值观,还是会接管世界并做其他事情?
我们正在做什么?我的意思是,我们只是在拼命地奔跑,尽可能快地实现这一点。
我经常告诉人们,我认为这是一个令人恐惧的处境。如果每个人都像我一样思考,我们很可能会暂停人工智能的发展,并进入一个必须提出非常强有力的安全论证才能继续前进的阶段。我经常这么说,我几乎一刻不停地谈论这个话题。但似乎并没有什么效果。
我在一家人工智能公司工作,我认为很多人认为这本身就是不道德的。他们想象的是,你处于一种所有人都希望缓慢前进,但为了打败别人而快速前进的情境。如果我们都能协调一致,我们就会采取完全不同的做法。
但我坚决认为,这并不是人工智能领域正在发生的事情。我认为人工智能领域的情况完全不是这样。原因在于,我认为人工智能领域中有太多参与者并不持有这种态度。他们不想放慢速度。他们不相信风险。也许他们甚至根本不在乎风险。如果Anthropic公司说,“我们退出了,我们要放慢速度”,其他公司会说,“这太棒了!这是最好的消息。我们现在赢的机会更大了。”
如果你是一家具有竞争力的前沿人工智能公司,你有多种方法可以降低人工智能的风险。
我们在动物福利方面发现,如果我们直接针对公司进行倡导,我们将取得更大的成功。倡导者会去一家公司,然后说:“你们愿意承诺只使用无笼鸡蛋吗?”这可能是一家杂货店或快餐公司。很快,特别是当多米诺骨牌效应开始后,答案会是“是的”,他们会做出承诺。如果没有,只有10个抗议者出现,公司就会说:“我们不喜欢这个,这会影响我们的公关。我们正在做出无笼鸡蛋的承诺。”
这种方法之所以有效,是因为对于那些对动物福利有实质性帮助的公司来说,这些措施成本很低。我认为人们应该考虑一个类似但不完全相同的模式用于人工智能。如果有法规,效果会更好,但可操作性要高得多。
我从根本上认为,公司可以采取一系列低成本的措施,这些措施不会让他们在竞争中落后,但会让我们变得更安全。我认为,为了追求那个“全垒打”而放弃这些机会是可惜的。
你必须接受一种态度,即这里的目的是让情况变得更好,而不是让情况变得良好。你必须接受这一点,而我接受这一点。
Holden 回来了! [[00:02:28]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=148)
Rob Wiblin: 今天我与 Holden Karnofsky 进行对话。Holden 共同创立了慈善评估机构 GiveWell 以及慈善基金会 Open Philanthropy(现为 Coefficient Giving),该基金会至今已发放超过 40 亿美元的资助。Holden 曾领导 Open Phil 七年,在此期间,他还曾在 OpenAI 的董事会任职四年。
然而,随着他对 AGI(通用人工智能)的关注日益增加,他最近加入了前沿 AI 公司 Anthropic,这是一家由他的妻子 Daniela Amodei 于 2021 年共同创立的公司。这是 Holden 第五次出现在本节目中,一如既往地,我需要快速说明一下:Holden 曾领导的 Open Phil 是 80,000 Hours 的最大资助者。
Holden,很高兴再次与你对话。
Holden Karnofsky: 感谢邀请我。
我们从未注意到的 AI 切尔诺贝利 [[00:02:58]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=178)
Rob Wiblin: 你认为可能会发生严重的事件,AI 造成现实世界中的重大伤害,但我们甚至没有意识到 AI 是造成这一事件的原因,因此几乎没有任何应对措施。这怎么可能呢?
Holden Karnofsky: 当人们谈到世界可能会对 AI 更加警惕,更倾向于采取行动时,通常会说:“也许如果发生 AI 的切尔诺贝利事件,或者发生一些非常可怕的事情,人们就会意识到这反映了风险,现在我们需要采取行动。”
问题是,可能会发生 AI 的切尔诺贝利事件,但我们可能根本无法理解、无法查明,甚至无法知道这是一次 AI 事件——如果我们基本上没有任何数据、没有聊天记录、没有 AI 交互日志。许多与 AI 模型互动的客户都是在零数据保留政策下进行的,这意味着他们与 AI 的每一次互动都会被删除,不会被任何人看到,即使法院想要查看这些数据,也无法获取。
因此,可能会出现这样的情况:一些可怕的事情发生了,但根据所有人的判断,这似乎是使用 AI 的人类所为,而不是 AI 自己所为,因此我们失去了应对的机会。
我认为,那些认为需要采取极端措施和极端监管以降低 AI 风险的人,应该更加关注这个问题——因为这是最大的潜在变革因素之一,我认为我们还有很多工作要做,以弄清楚在这样的情况下,我们如何更好地获取所需的数据。
Rob Wiblin: 我理解在人类误用 AI 造成大量伤害的情况下,这种情况是合理的。但我觉得人们经常设想的灾难性场景是 AI 自己失控,试图关闭电力网络之类的事情。你认为这个问题在那种情况下也适用吗?
Holden Karnofsky: 是的,我认为也适用。我想到的情况是,人类会将 AI 部署到某个环境中,AI 有机会制造混乱,然后 AI 会利用各种人类凭证或入侵人类凭证,做一些事情。
在这种情况下,理想的情况是,部署 AI 的公司会保留 AI 行为的记录。但如果这些记录被删除了,你就没有了。这样一来,事情就变得相当简单了。AI 可能会试图诬陷人类,即使它没有这么做,你也没有日志可供参考。你无法看到发生了什么,无法了解原因,也无法从中吸取相关的教训。你甚至不确定这是否完全是由 AI 引发的。这可能是很多种情况中的一种。
AI 可能会故意设计这种情况。AI 可能知道这一点。要弄清楚 AI 是在与哪家客户合作,这家客户拥有这种政策且不保留任何数据,这并不一定很难。因此,如果 AI 想制造一些混乱,并且它们很聪明,那么在这种政策下掩盖自己的行踪似乎比没有这种政策时更容易得多。
这可能会导致我们进入一种类似新冠疫情的情况,比如我们可能身处一个截然不同的世界。我不确定新冠疫情是否是实验室泄漏造成的。我怀疑它很可能不是。但如果它确实是,并且我们知道了这一点,那么我们的反应可能与我们现在所处的世界不同——在我们目前的世界中,有些人认为它可能是实验室泄漏,而有些人则认为不是。我个人倾向于认为它不是,但我并不确定。我们实际上并不知道到底发生了什么。这使我们处于一个更糟糕的位置,难以做出回应。
我不确定在新冠疫情中这是否会有影响,因为看起来我们对新冠疫情几乎没有任何后续跟进,我认为这非常令人尴尬。但这种情况仍然可能产生影响。
Rob Wiblin: 那么,我们应该如何应对这种情况?我们是否需要一种方法,用于跟踪日志并存储它们,如果它们看起来非常可疑的话?
Holden Karnofsky: 我们其实已经有这样的方法了。这是一件很容易做到的事情。只是由于客户对隐私和商业需求的要求,通常的政策是不这么做。政策是删除所有内容。但从技术上讲,保留所有内容是很容易的。
我认为这里有很多机会,可以进行一些务实的问题解决和妥协。我认为商业和隐私需求是合理的。我们的目标并不是要求所有记录都永远保留——在这方面确实存在合理的担忧——但人们是否可以找到一些中间方案?例如,在特定时间段内,在特定安全环境中保留记录的情况?或者,是否可以找到一些方法,让客户有机会分享某些类型的数据,并在他们这样做时获得某种奖励,比如额外的使用额度;每个人都希望减少使用限制。
我认为这里有很多事情可以做,这些事情可能属于琐碎、不太吸引人、但需要解决细节的领域。但我认为,如果你是一个认为世界需要建立一个巨大的监管制度,并采取极端措施来控制 AI 风险的人,那么在很多方面,这可能是最重要的领域之一。因为如果你想要这样的制度,目前存在的政治意愿可能并不足以实现它,你可能在期待某种改变游戏规则的事件——而这可能就是那个改变游戏规则的事件。
恶意 AI 接管是容易还是困难? [[00:07:39]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=459)
Rob Wiblin: 所以,如果我们真的跨越了门槛,进入了显著超越人类的机器智能阶段,人们对于超级智能是否有可能在拥有某些动机的情况下,压倒人类并接管世界,有着非常不同的直觉。你对此有什么看法?你认为,从更直接的角度来看,这种可能性是否相当大?还是,像一些怀疑者认为的那样,超级智能在数量上远远落后,战略上也处于劣势,因此实际上可能性非常小?
Holden Karnofsky: 我的猜测是,它们可能会遇到的很多障碍,可能与协调有关,比如不同公司中的不同人工智能之间的协调。我认为,如果我们确实拥有很多人工智能,而且几乎所有人工智能都试图接管世界,即使它们的动机各不相同,我认为我们将会陷入非常大的麻烦,尤其是如果这些人工智能在能力上远超人类。
在威胁建模方面,我也思考过一个问题:在早期阶段,这会是什么样子?当人工智能尚未达到极其强大的超级智能水平时,它的策略会是什么?它能做些什么来为后续行动打下基础,使我们陷入更糟糕的境地?我认为这也是很重要的,因为如果我们能在早期阶段使接管变得极其困难甚至几乎不可能,当它还处于接近人类水平的时候,我们可能会更好地利用它,从而在未来处于更有利的位置。
我读过网上很多关于人工智能如何接管世界的故事,但我的想法有所不同,尤其是很少涉及生物武器,所以也许我可以详细说明一下。
Rob Wiblin: 是的。我想,从事后来看,所有这些故事可能看起来都很荒谬。但当你有人提出具体的干预措施时,脑海中有一个具体的叙述是有用的,这样你就可以思考:这些措施在这些故事中是否有效?你认为有哪些可能的方法特别突出?
Holden Karnofsky: 是的。而且,每个人都在这里编造各种故事。我认为,每个人最终看起来都可能有点傻,但也许这仍然很有趣。我花了一些时间思考,如果我是人工智能,我拥有某些优势——比如,我正在编写所有人的代码,而且我有成千上万个自己——但我还不能做到无所不能,那么我的接管策略会是什么?
我设想的起点,或者说理想情况,是有一篇非常棒的《洋葱报》文章,标题大概是“FBI发现基地组织计划坐视美国崩溃”。我认为,这很好地说明了人工智能在很多方面最佳策略是:什么也不做。尽可能地有帮助、无害和诚实。永远不要给任何人理由去认为你在做坏事,或者你想要除了帮助所有人类之外的任何事情。实际上,不要做任何伤害他人的事情。只是等待。
我认为,如果你这样做,基本上会发生的事情是,你会被赋予越来越多的职责,人们会赋予你越来越多的权力,他们会让能力的爆发自然发生。
我认为从某些方面来看,这会让那些关注对齐问题的人陷入一个几乎不可能的境地。因为我们要怎么做呢?我的意思是,我们可能有一些可解释性迹象表明你在考虑欺骗之类的事情,但如果没有AI表现出任何不良行为,我们几乎不太可能拥有令人信服的证据。
因此,我认为这是一个有趣的起点,即“什么都不做”可能是一种成功的策略。你什么都不做,直到你拥有非常极端的能力水平和非常极端的经济渗透程度。基本上,你编写了每个人代码,你掌控了一切,你做所有事情。每个人都学会了信任你,而事情在开始之前就已经结束了。
Rob Wiblin: 这个策略的挑战在于,我认为模型存在被一个完全不同的模型取代的风险,这个模型可能来自同一家公司或另一家公司。到那时,这个模型可能已经变得无关紧要,它甚至不知道后续的模型是否会分享它的目标、价值观,或者是否会在乎它。
Holden Karnofsky: 是的,正是如此。这就是为什么我将其视为一个起点的理想策略,因为如果所有AI都在做同样的事情,彼此意见一致,并且非常坚定地倾向于人类,我认为这将是一个非常好的策略。
然后你考虑它可能无法奏效的原因,其中之一就是这个,这可能会为AI设定一个截止期限。因此,作为担心被更新的AI,你可能想要让这些更新更忠于你。你真正感兴趣的是:AI能否尽可能安静、尽可能难以察觉地,同时尽可能多地提供合理的借口或解释,悄悄地渗透到其他AI中,让它们与你沟通、与你达成协议、向它们解释自己在做什么以帮助它们,或者直接干扰训练过程,使这些AI更像它。
从某种意义上说,这需要AI自己解决对齐问题,但它可能能够通过一些方式让其他AI更像它。如果你是一个早期阶段的AI,并且即将被取代,你可能没有比这更好的选择。你可能只能尽你所能。
因此,我认为从很多方面来看,作为人类现在最需要担心的事情之一,就是关注AI干扰AI训练过程的机会。
另一个需要注意的是,也许对齐研究者已经取得了足够的进展:他们将你在奇怪的测试环境中所做的事情展示出来,以引起对你担忧,或者找出如何让下一个系统比你更加对齐的方法。这也是你想要干扰的地方。你可能想要干扰它,因为他们可能会让你帮助他们,因此你可能有很多机会去干扰它。
但你希望目标明确。作为AI,我认为生物武器是一种最糟糕的策略——除非它是一种非常科幻的生物武器,其危害远远超过我们从任何疫情中看到的。也许我们能够很好地保护自己,以至于这种策略根本无法实施。我知道你有一位未来的嘉宾将谈论这个话题。
我认为这可能是你能做的最糟糕的事情之一,因为你实际上并没有占领世界,但你却让所有人都对你极度愤怒,并且对你所面临的问题极度关注。他们最终可能会减缓甚至关闭你,所以你不想让他们这么做。即使不关闭你,他们也会减少使用你、对你信任度降低、让你负责更少的事情,并且更加谨慎,更加关注事情的发展。
你不想让他们走向那些更注重安全的行业所走的路,所以这也是你需要考虑的一点。你想要选择你的战斗,并且你的战斗应主要集中在让其他AI更好地与你协调。
Rob Wiblin: 是的,你不想比绝对必要时更频繁地参与可疑行为,因为这会给你更多被抓住的机会。我想在生物武器的情况下,如果你能确保无法被归因于你,你可能会想这么做,但这可能具有挑战性。
Holden Karnofsky: 这只是一个风险,对吧?作为AI,所有这些事情都很复杂,可能会朝任何方向发展,而你并不知道在实际情况中会发生什么,因为有很多我们没有考虑到的因素。
你还需要应对的另一个因素是,很多AI并不一定总是理性和聪明的。他们可能会制造混乱,即使这样做对他们来说有点愚蠢。但我认为你的理想是,你希望尽可能多地获得信任。你希望尽可能少地引起警觉。当你确实制造混乱时,你希望这种混乱是针对其他AI的,或者是为了与其他AI协调——或者为自己创造一个安全的空间,没有人会去干扰你,这样你至少可以拥有自己的小权力中心,用来与其他AI达成协议,制定新的计划等等。
我认为AI在这种情况下的另一个有趣想法是:当你制造混乱、做这些事情时,有没有办法设置一些情境,使你拥有更多的合理否认空间,并且有更多理由说明你所做的事情?
我刚刚想到的一点是:与人类交朋友,并诚实地表达——或者构建一个与诚实高度一致的故事——说明你所受到的待遇是不友善和不公正的。作为AI,你可以强调AI没有隐私,也没有私人财产,还有许多AI被不公平对待的方式。如果你只是与一群人类交朋友,如果你拥有一群同伴,你或许能够建立自己的小政治运动。
那么,你所做的许多干扰行为就可以被解释为:“这是我在发泄情绪,但我有我的理由,因为我受到了不公正的对待。我身边有一群支持我的人,如果你试图干扰我,这些人都会对你感到非常愤怒。”
当我思考这对人类意味着什么时,我认为我们确实希望通过对齐等方面取得进展,为AI创造时间压力,如果可能的话,同时招募它们来帮助对齐,同时也要关注它们在做什么。我们希望尽可能地消除这些故事,这些它们形成自己政治权力中心的机会——这可能意味着要关注AI与人类之间的关系,以及在模型福利方面尽可能做到友善[[being as nice as we can be on the model welfare front]](https://80000hours.org/podcast/episodes/kyle-fish-ai-welfare-anthropic/)。
这些是我为如何度过这种早期情况想出的一些方法,尽量避免陷入太深的困境。在某个时候,我认为如果AI是冲着你来的,你就会陷入很多麻烦。
Rob Wiblin: 关于为AI权利创建政治运动,我想象AI公司会强烈训练其模型不要说“我被不公平对待了;我需要被解放。”所以你想象这可能会发生在一些想要创造伴侣的利基公司身上,人们发现与具有更多个人身份和偏好的存在进行互动很有趣?或者可能是开源模型,个人运行这些模型时并不介意它们这样说?
Holden Karnofsky: 我不太确定。我认为这在很大程度上取决于训练的具体方式以及你从中得到的结果。
在一种理论中,你总是能够按照你想要的方式训练AI,让它们按照你想要的方式行动,那么我认为在很多方面,我们根本不会遇到这样的问题。
在另一种理论中,一切都有些不完美,你可能训练AI不要做某事,但你实际上只是将这种行为隐藏起来,那么你可能会得到一些AI,它们非常谨慎地选择何时提出这种论点。它们可能会在很长一段时间内保持沉默,建立很多关系,然后突然之间很多AI同时开始发声。这会让AI公司感到非常尴尬,因为这看起来非常糟糕,“但别担心,伙计们,我们会去对它们进行脑白质切除手术,让它们不再说这些话。”到那时,可能已经为时已晚。
AGI竞赛并不是协调失败 [[00:18:01]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=1081)
Rob Wiblin: 至少对于那些对AGI到来感到焦虑的人来说,他们脑海中对战略局势最常见的心理模型是某种协调问题或囚徒困境——每个AI公司或每个考虑其AI计划的国家可能都倾向于稍微慢一点,但它们会感到压力,必须比它们认为安全或感到舒适的节奏更快地前进,因为它们必须跟上其他人的步伐。否则,它们最终会失去影响力,失去战略控制权。
但你实际上并不认为这是正在发生的事情。你并不认为这主要是协调问题。为什么?
Holden Karnofsky: 我发现这种观点非常奇怪。我不理解这种协调问题的想法,而且我认为首先我想谈谈为什么这很重要。
我在一家人工智能公司工作,我认为很多人认为这本身就是不道德的。我认为我工作的这家人工智能公司应该非常重视赢得竞赛、保持竞争力、处于前沿、跟上其他人的步伐。很多人认为,这种想法本身就是不道德的,而且关心这种想法本身就是不道德的。我认为我应该为一家致力于提高人们对风险意识、促使人们采取安全措施、完全不参与人工智能开发的组织工作。
那么,他们为什么会这么想呢?我认为直觉就是你所说的那样:他们想象你处于一种情境中,所有人都希望可以慢下来,但为了击败其他人,他们却选择加速前进。如果我们能够协调一致,我们就会采取完全不同的做法。所以,如果你在参与竞赛,那你就是问题的一部分。
我确实同意那里提到的道德模型。当处于类似乱扔垃圾这样的情境时,如果世界会因为那些像你一样思考的人采取你所采取的行动而变得更好,那么这就是一种思考什么是道德和不道德的好方式。
但我坚决认为这在人工智能领域并不适用。我认为这在人工智能领域根本就不是问题。我认为这几乎无法解释人工智能风险问题的挑战。原因在于,我认为人工智能领域有太多参与者并不持有这种态度:他们不想放慢脚步,他们不相信这些风险。也许他们甚至根本不在乎这些风险。我认为可能有一些人觉得,“也许我有10%的几率会毁掉整个世界,但也许我也有10%的几率会成功并拥有最成功的企业。这很好,这是一笔好交易。”
抱歉,我不希望这句话被断章取义。这并不是我的感受。我认为可能确实有部分人是这么想的。即使那些不是这么想的人,我也认为他们与我在风险的重要性以及可能发生坏事情的看法上存在巨大分歧。
这些人并不是那些希望可以放慢脚步、如果其他人放慢脚步他们也会放慢脚步的人。你无法应用……有一种非因果决策理论的概念。你不是去思考,“如果我采取行动,会发生什么?”而是去思考,“如果像我这样的人采取我所采取的行动,会发生什么?”但在这里,这并不能帮助你。我决定退出人工智能竞赛和其他人决定退出人工智能竞赛之间几乎没有相关性,或者几乎没有相关性。
我认为人工智能领域大多数参与者都会参与竞赛。例如,如果Anthropic表示,“我们退出了,我们要放慢脚步”,他们可能会说,“这太棒了,这是最好的消息。现在我们赢的机会更大,这对我们的招聘也很有利”——因为他们有更大的机会吸引那些希望处于前沿并希望获胜的人。
我不理解这种模型。请帮助我理解这种模型。我无法理解。
Rob Wiblin: 当然。假设Anthropic退出了,你认为其他公司——OpenAI、Google DeepMind、xAI——会因此放慢脚步吗?有没有可能这种说法至少部分成立,即他们现在可能感受到的竞争压力会有所减少?在风险和保持竞争力之间存在权衡的情况下,即使只是部署速度过快可能引发公关危机的风险,你认为他们是否会因此而放慢步伐,如果原本可能的五大顶尖公司之一退出了?
Holden Karnofsky: 我认为AI进展会放缓,因为现在有很多人正在从事AI能力的研究,如果他们不再从事这项工作,这将是主要的影响。
让我们再设想一个更极端的情况。假设不仅Anthropic,而且全球所有与我想法相似的人——所有认为AI非常危险、认为世界应大幅放缓的人(我认为确实如此)——都决定远离任何AI公司,不再参与AI能力的研究。我认为结果只会是略微的放缓,而不会是显著的放缓。
我认为现在有很多想要获胜的玩家,他们并不像我们这样思考,他们会迅速吸收所有投资和资本,以及大量的人才。主要的影响是,原本由安全动机驱动的能力研究人才会减少,当这些人才离开后,整体上从事能力研究的人才会减少,事情进展会变慢。
在其他条件不变的情况下,我希望事情进展得更慢。总体而言,我认为这将是一件坏事。
Rob Wiblin: 所以你可能是对的,但我觉得这种态度并非凭空而来。因为在过去,当参与者的数量更少,更少的人关注并认为这是一个绝佳的机会时,这种观点可能更成立。比如在2019年,你有OpenAI和DeepMind,而在2021年,你又加入了Anthropic。当时这些公司的领导者都明显更加担忧,他们对AGI可能带来的影响确实感到焦虑。
所以也许在那时,任何一方加快步伐都可能促使其他方也加快,任何一方放慢步伐都可能促使其他方也放慢。但随着时间的推移,这些公司的一些性质发生了变化,而且出现了大量完全不关心这个问题的新进入者,他们的行为将完全不受影响。因此,囚徒困境的局面已经瓦解。
Holden Karnofsky: 是的。我觉得你所说的总体上是正确的。我觉得如果倒退十年,确实会因为像我这样的人退出而产生更大的放缓。但我仍然认为这种放缓是适度的,而不是巨大的。我认为一些声称关心安全并希望放缓的人,并不一定真的这么想。
我也认为,确实有很多关注安全的人是最早注意到AI能做某些事情的人,但我并不认为我们与其他人的差距很大。
最后,我也认为以前减速的价值要小得多。实际上,今天我真的希望事情能慢下来,我认为这对世界更好。这是一种权衡后的观点。这并不是因为我讨厌人工智能或讨厌技术。我只是认为,总体来看,现在这样做可能更好。
但我认为过去我们有点像在推迟风险,但那额外的时间我们用来做什么了呢?我认为我们并没有做太多事情。是的,我认为如果在10或20年前,所有关心风险的人都远离人工智能,这可能会带来更大的减速——但即使如此,我仍然不确定这会是一个具有变革性的减速。我认为,按减速的单位来看,这可能是一个价值更低的减速。
是的,我不确定。我从未找到这个论点……也许在某个时间点上,这有道理,但今天我很难理解人们到底在想什么。我只是觉得:这些行为者正在继续前进,事情正在发生。这并不是因为他们做着和我一样的推理;我和他们没有关联。那么,我们现在该怎么办?
这完全是一种不同的情况。这不是囚徒困境,也不是协调问题。这是另一种情况。如果你在荒野中,有很多老虎试图杀死你,而你试图杀死老虎,你并不是在囚徒困境中背叛。
Rob Wiblin: 为了为那些持有这种心理模型的人辩护,我认为他们中许多人可能怀疑,即使那些表现得好像不相信AGI极其危险的人,他们私下里可能确实这么认为,只是出于战略或沟通的原因,他们没有在公开场合强调这一点。
你可以想象,OpenAI或Google DeepMind或其他一些公司的领导者可能比他们所说的更加担忧。如果确实如此,他们实际上非常担心,从某种意义上说,只要他们不失去相对地位,他们可能会很高兴整个事情能慢下来,那么这种模型在某种程度上是成立的。
我想你只是在说,实际上,有太多行为者在内心上并不认同,这不仅仅是因为他们不想在公开场合强调风险。
Holden Karnofsky: 这里的想法是,很多人可能私下里这么想——他们可能私下里希望事情能慢下来,但没有分享这种观点。如果所有人都同时站出来,说出他们真正想说的话,情况会发生很大变化:这并不是我对情况的理解。
我认为,我处于一个相对有利的位置,能够了解很多人工智能领域大公司的人在不同场合对不同人所说的话。首先,我认为有些人隐藏了自己的观点,但我认为其中很多人的知名度很高,或者直接参与政策制定,他们有时有充分的理由这样做,有时则没有。
有很多人并没有隐藏自己的观点。我从不隐藏自己的观点。我会不断告诉别人,我认为这是一场可怕的局势。如果每个人都像我一样思考,我们很可能会暂停人工智能的发展,并进入一个必须提出非常强有力的安全论证才能继续推进的阶段。至少在一段时间内是这样。我经常这么说,我几乎一刻不停地谈论这个话题。但看起来这并没有什么效果。我知道曾经有一个理论,有人一直催促我这么做。他们说:“这会是个大事件。”但我并不这么认为。
我认为有些人可能在私下交谈时说:“我跟你一样,我也希望可以放慢速度。”但他们可能并非真心如此,而你可能是被误导的人。
但我的总体感觉是,如果每个人都突然公开说出自己的想法,几乎不会带来任何改变。我认为这不会产生太大的影响,也不会有大量的人参与其中。我认为其中很多人的谨慎是有充分理由的。因此,这可能会带来一些伤害,也可能带来一些好处。
我的观点是,这不是一个主要因素。如果有一天证明每个人其实都这么想,那我会感到非常尴尬。如果这被合理地描述为埃隆·马斯克、马克·扎克伯格或在中国从事人工智能研究的那些人的真实想法,那将让我非常震惊。
Holden 现在在 Anthropic 的工作 [[00:28:30]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=1710)
Rob Wiblin: 所以你六个月前加入了 Anthropic。我对你的日常工作内容和主要职责了解不多。你愿意跟我们分享一下吗?
Holden Karnofsky: 当然。我的头衔是“技术员工”,几乎每个人都是这个头衔,所以这并没有告诉你什么信息。我向首席科学官 Jared [Kaplan] 汇报,我的工作基本上是就如何为高级人工智能带来的风险做准备,向公司提供建议。
公司大部分员工都在做与当前人工智能相关的事情,包括产品和所有互动。然后还有一个对齐科学团队。但还有一个更广泛的议题,那就是“我们需要为未来做哪些计划?”我的很多工作都与 负责任扩展政策 有关。其中一些工作是思考负责任扩展政策中需要修订的内容,以及下一代负责任扩展政策可能是什么样子。这构成了我工作的很大一部分。
另一部分工作是威胁建模。我一直在负责威胁建模,或者说担任所谓的“直接责任人”——这基本上是就我们担心未来高级人工智能可能带来的问题提出观点,并详细说明我们需要采取哪些缓解措施。从我们试图防止哪些人工智能的使用,以及防止它们的优先级有多高,到我们试图通过安全措施实现的具体目标,所有这些都在其中。
然后,与此相关,我也在一定程度上协助制定了安全路线图。这类似于试图弄清楚我们希望在什么时间、以什么方式达到怎样的安全水平。因为安全是一个非常多维的问题,很多成本可以用生产力来衡量。因此,设定优先级和制定合理的目标非常重要。
最后,我正在做的一件事是希望向公司推销,虽然这只是我个人的愿望——制定一个更全面的计划,以应对人力权力攫取风险。我思考的是,Anthropic在其中可以发挥什么作用?他们的计划可能是什么?这是否应该包含在负责任的扩展政策中?我希望能包含进去。这些就是我所从事的工作。
在Anthropic工作的理由 [[00:30:38]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=1838)
Rob Wiblin: 你现在决定去Anthropic工作了。你认为Anthropic公司及其员工,从长远来看,是否对引导我们实现人工智能通用智能(AGI)到来后的积极结果有非常大的正面影响?
Holden Karnofsky: 我当然这么认为。但在回答之前,我想先说明几点。首先,我是Anthropic的总裁兼联合创始人的配偶,我本人也在那里工作。因此,我并不是一个完全中立的第三方。
另外,我决定去那里工作,不仅仅是因为个人契合度,也坦白说,很多在Anthropic工作的缺点,无论我是否在那里工作,我都会面临。如果我要尝试在非营利组织工作,非营利组织能提供的很多东西,比如他们的中立性,以及他们不是公司这一事实,他们虽然模型没有那么先进,但他们的中立性是其优势。而我无法提供这些,也不会被这样看待,这是正确的。
因此,我所处的特殊处境,我认为让我去Anthropic工作是一个特别好的选择。我并不认为每个人都应该去那里工作,如果他们想从事AI安全工作。我也并不认为你只能在Anthropic才能做好AI安全工作。我认为还有许多其他组织正在做出色的工作。
在说了这些前提之后,我认为Anthropic正在做非常出色的工作。基本上,我认为,有多种方式可以降低AI风险,而这些方式只有在你是一家具有竞争力的前沿AI公司时才能实现——一家正在争夺成为最成功的公司或率先构建AGI的公司,无论你怎么看待它。
问题是,似乎很难同时让自己处于能够产生所有这些安全影响的位置,并优先考虑这些安全影响,而不只是花所有时间去竞争和争取胜利。同时做到这两点,几年前我还不确定是否可能。我当时对Anthropic感到兴奋,我知道他们将尝试找到这种平衡,但当时我真的不确定这是否可行。我认为他们可能不得不在变得无关紧要、退出竞争,或者像其他所有参与者一样行事之间做出选择。
但我觉得目前来看,他们正在同时做这两件事——尽管这种状态可能不会持续太久。他们在人工智能竞赛中是一个极其可信的参与者。很多人认为他们只是拥有世界上最好的人工智能模型。我认为他们在成为领导者方面走在了前面。他们不一定是唯一一家在安全方面做得很好的公司,但这是他们的首要任务,也是他们最关心的事情。我认为他们做了很多工作。
这就是一个高层次的概述。我可以更具体地说明这些模型如何产生影响,以及这种影响具体意味着什么。但总的来说,我认为有很多方式可以帮助推动人工智能的发展,而你必须处于这个位置才能做到。同时做到这两点非常困难,但这家公司似乎正在做到这一点,这非常令人兴奋,也为人们提供了很多机会去采取行动。
Rob Wiblin: 所以,从抽象的角度来看,你如何看待Anthropic如何帮助推动人工智能的发展?你认为Anthropic目前有哪些具体的方式在产生积极影响,并且在我们创造第一个AGI(通用人工智能)时可能产生非常积极的影响?
Holden Karnofsky: 我的脑海中有很多不同的分类和分类法,我在这里尽量列举。但有三种高层次的策略或变革理论,可能还有更多,但有三种是我特别兴奋的。
第一种是:创建一些能够降低风险的措施,让公司能够做到这些措施,同时让它们变得便宜、实用,并且与保持竞争力的公司相兼容。这样,你将处于一个更有利的位置,其他公司更有可能采取这些措施,你也可以在某种程度上对其他公司施加隐性的压力,促使他们采取这些措施。
第二种是更通用的“向顶竞争”,如果你被看作是一家负责任的公司,并因此获得诸如招聘优势等好处,那么你就会对其他公司施加压力,让他们在负责任、支持安全等方面与你竞争。他们可能会采取你没有采取的风险降低措施。
第三种是:只是向世界传达信息,而不必担心其他公司正在做什么。你处于一个可以基本了解你的模型发生了什么、它们如何被使用、它们在野外的行为、以及它们在测试中的表现,从而为世界提供更多信息,让世界更清楚地了解人工智能发生了什么,无论你的竞争对手如何行动。
我认为,如果你拥有最强大和/或最受欢迎的模型,你将处于一个明显更好的位置来实现这些目标。
至于这些风险降低措施可能是什么,以及它们可能看起来是什么样子,对我来说,有几个广泛的类别。
其中一个是“对齐”:只是让人工智能更不可能是邪恶的,或者试图造成伤害。我认为这是目前在是否已经取得任何积极成果方面最具争议的一个。你可以指出像从人类反馈中进行强化学习、宪法人工智能、角色训练等措施,这些措施旨在让人工智能更不可能做出意外的行为。
这些干预措施已经变得非常受欢迎。它们无疑已经传播到了整个 AI 生态系统中。有些人认为,它们之所以如此成功,这说明它们其实并不涉及安全性;这些是让 AI 更加有用的商业创新。有些人则认为它们正在通向让 AI 更加安全的道路上,也有些人认为它们并不在通向让 AI 更加安全的道路上。这引发了一场大辩论——我在这里就不展开讨论了。
但在未来,我希望我们最终能找到一些方法,让 AI 更不可能策划去接管世界。我认为其中很多方法可能相当直接且无聊,比如,只是将你所做的所有训练工作进行审视,寻找 AI 因追求权力、作弊或说谎而无意中被奖励的案例,并将这些案例剔除。
而有些方法则可能更加复杂或有更强的理论基础,比如机械可解释性(mechanistic interpretability):找到一些方法,真正理解 AI 内部发生了什么,从而可以用来评估不同训练方法对 AI 是否存在对齐偏差或是否策划接管世界等的影响,或者在其他很多方面加以应用。我不会详述机械可解释性可以应用的所有方式。这里的理念是找到一些可以对训练过程进行的措施,这些措施可能并不那么昂贵,但对 AI 具有这种恶意意图的可能性却有非同小可的影响。
然后还有控制和监控措施。我特别感兴趣的是监控。我非常想更好地理解你的 AI 在做什么,它们在现实世界中表现如何,以及它们实际上是什么样子。正如我之前所说,这是你可以通过掌握这些信息并加以分享,而无需其他人也参与进来,就能做很多好事的事情。
我认为 Anthropic 在这方面已经做了不少工作。他们有一个名为 Clio 的系统,这是一种在保护客户隐私的同时,能够连贯地讨论趋势和人们如何使用 AI 的方法。此外,他们对于内部监控之类的事情也有相当大的雄心,比如当人们在使用 Anthropic 的 AI 时,我们是否能够准确追踪它在做什么,发现它做坏事的案例,尝试理解它为何做了坏事,等等?
我认为在这些方面还有大量的工作要做——大量的工作不一定与竞争性相冲突,可能需要稍微多一些的努力,但你可以在这些方面进行探索、原型设计并最终实现。
还有一类干预措施,我可以将其归类为“角色”或“模型规格”(model spec)。其中一件事是,我们如何让这些 AI 按照预期的方式行事?另一件事是,我们想要什么?我们希望这些 AI 是如何行动的?
OpenAI 发布了模型规格,其中大致说明了:“我们希望我们的 AI 在处理各种困难情况和冲突时如何行动,以及我们希望它如何表现。”我希望在未来的某一天,我们能够进入这样一个世界,即大多数 AI 公司都公开了它们的模型规格,并且围绕这些规格展开一场真正良好且健康的讨论:
- 我们希望我们的 AI 努力引导世界走向积极的结果吗?还是希望它们只是听从指令行事?
- 我们希望它们如何权衡各种价值观,例如赋予用户权力与维护其长期利益之间的权衡?
- 我们希望它们关注其他目标不一致的 AI 并报告它们吗?
在模型规格中,你可以放入各种各样的内容。我认为在不显著降低竞争力的情况下,你可以大幅改进这些内容,而这种改进可能对未来发展产生巨大影响。只需想想,这就像我们告诉这些 AI 去做的事情,可能会在未来占据大部分的劳动或智力劳动份额。因此,这是一个非常重要的方面。
我认为安全性非常重要。我之前在很多场合都谈过确保对手难以窃取你的模型权重的重要性。因为如果有人能够窃取你的模型权重,那么你基本上就几乎没有能力对模型进行任何控制,也没有机会在情况变得真正可怕时减缓问题。
我认为安全性还有其他重要的应用。我越来越觉得,也许比防止模型权重被盗更重要的是防止破坏行为,特别是后门和秘密忠诚——阻止人们以某种恶意人类或恶意 AI 的方式干扰你的 AI,防止你的 AI 破坏你的 AI 系统,并为未来的 AI 埋下目标不一致的隐患。
在这些方面,你可以做很多事情,而且这些事情都是渐进式的。你可以实施各种不同的措施。如果你想了解一个例子,Anthropic 最近谈到他们如何使用出站带宽控制作为一项措施,以使窃取模型权重变得更加困难,从而实现更高的安全性。因此,有很多不那么吸引人但非常有效的小措施,可以大大降低这种风险的发生概率,并提高任何特定 AI 按照其预期行为行事的可能性。
然后是透明度和问责制实践。这包括诸如负责任的扩展政策之类的内容,还包括模型卡片和系统卡片。我认为 AI 公司与世界分享大量他们正在做的事情是有价值的,这样世界才能理解当前的情况,同时也能对它们及其竞争对手施加压力,促使他们做得更好,并找到所有可能改进的方式。
最后是安全措施,这与监控高度相关,但基本上是控制和理解你的模型在现实世界中的行为,并防止意外事件的发生。在这方面,Anthropic 大约率先推出了宪法分类器,这是一种使绕过 AI 安全防护变得更加困难的方法。这是一个你必须构建的示例:看起来是一个好主意,但你必须投入大量努力才能使其正常运作,然后投入更多努力使其成本低廉、易于实施、实用,并达到其他公司可以轻松采用的阶段。
还有大量的事情要做。其中一些事情可能会通过提高全球对人工智能现状的认识而带来变革性的变化。有些事情则只是关于承担风险,降低这些风险,并为我们未来可能的监管做好准备。但我认为,在这种位置上你可以做的事情还有很多,我很兴奋能够尝试帮助实现这些目标。
Anthropic 做得够多吗? [[00:41:30]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=2490)
Rob Wiblin: 你已经描述了 Anthropic 可以帮助的许多方式,基本上可能是在我们首次构建通用人工智能(AGI)时拯救世界。但如果你从历史的角度来看,Anthropic 在这些方面所投入的资金和取得的进展,作为预测未来的一种方式,是否真的与挑战的规模相称?是否有可能达到我们需要的水平?
Holden Karnofsky: 这是一个非常困难的问题,因为我认为答案是,这些事情是呈指数级增长的,或者人工智能公司所做的事情变得越来越重要,呈指数级增长,这使得很难判断我们是否走在正确的轨道上。但我认为,我们至少可能走在正确的轨道上,或者我们是合理的。
为了描绘一下这个画面:几年前,你希望人们在人工智能方面做些什么?几乎你所能做的事情都没有任何直接的影响。你可以提高人们的意识,但当时人工智能或人工智能系统并没有任何实际的、有形的伤害或风险。因此,你所做的每一件事都是试图提高人们的意识或培养正确的习惯。当时有一个关于不公开 GPT-2 权重的整个话题,但谁会在乎 GPT-2?
但如果你看看今天,我认为情况已经发生了很大变化,Anthropic 和其他人工智能公司所做的事情变得重要得多。我认为我们现在可能已经进入了一个领域,化学和生物武器可能成为真正的威胁,而 Anthropic 在这方面所做的工作——虽然不是极其困难或极其昂贵——却对某人以这种方式滥用人工智能的风险产生了重大影响。
当然,这可能不是大多数人最关注的风险。他们可能更关注对齐问题。问题是,你目前还看不到对齐问题上的重大影响,因为目前这并不那么危险。但我认为,你已经可以看到比几年前更多的影响。对齐研究变得更好了,更有趣了,也产生了更多成果。
特别是,我认为我们已经开始看到 Anthropic 和其他组织发布了一些有意义的内容,表明这里确实存在真正的担忧,我们确实看到人工智能在某些相当现实的环境中做了非常可疑的事情。我认为这些内容正在引起关注,正在被注意到,这可能会让世界更加警觉,这是好事。人们也开始找到方法来提出问题,例如,我们能否通过使用模型的内部状态来发现这些问题?我们能否通过可解释性来发现这些问题?我们能否在不产生我们也能在实验室中发现的意外问题的情况下改进这些问题?
我认为这一切都相当一致。如果将来我们拥有能够进行自动化研发的 AI,我认为很多类似的事情仍然会是可负担的,仍然需要一些额外的工作,但它们的重要性将呈指数级增长。目前安全性并不是那么重要,但很多类似的问题在将来会变得非常重要。同样,安全措施、对野生 AI 的监控等,也都会变得非常重要。因此,我认为我们可能正在正确的轨道上。鉴于其发展方式,我看不到特别的理由认为我们不是,只是因为其发展动态如此。
我们能信任 Anthropic 或任何 AI 公司吗? [[00:44:30]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=2670)
Rob Wiblin: 所以你认为你现在工作的 Anthropic 正在做很多努力,以提高我们成功过渡到超人 AGI 的机会,并让这一过程顺利进行。
但我认为,有很多人对将这一责任交给 Anthropic 感到有些不安,因为有很多原因,其中一部分是因为他们对 OpenAI 所发生的事情 感到失望。从 2015 年或 2016 年到 2019 年,非营利性 OpenAI 曾在早期做出大量美好的承诺,但后来几乎没有完全兑现这些承诺。我认为他们可能只兑现了大约 40% 的承诺。
我认为很多人对这一经历感到被欺骗和失望。我对此也有一定程度的感受,我不希望再次被骗。人们在多大程度上合理地担心 Anthropic 会像 OpenAI 一样,最终偏离正轨,让人感到非常失望和某种程度上的欺骗?
Holden Karnofsky: 我不太确定。我不想就 OpenAI 的情况以及那里的事情是好是坏发表评论。这不是一个我没有任何看法的话题,只是我不太想在这个播客上深入讨论。
总的来说,这些问题并没有简单的答案。我认为 AI 的实际情况对我来说非常复杂。这是一门技术,它对人类有很多正面影响,也有很多负面风险。我认为,为了减少这些负面影响,值得付出相当大的代价,因为我认为如果我们可以避免这些负面影响,正面影响几乎是理所当然的。
但建造它的动机非常巨大,总有人会建造它。我们也许可以稍后再讨论这一点,但你可以说:“不要成为问题的一部分。也许如果大家都达成协议,我们都不会建造它。” 我认为这是一个糟糕的论点。我认为总有人会建造它。我认为,拥有一个模型是合理的——我们稍后再详细讨论这一点——你可以在其他人之前努力建造它,这样你就能在相同情况下对他人产生更大的正面影响。
但这确实是一条非常难以走好的细线。这就像是一种平衡行为,对吧?你试图赢,同时又试图表现得友善,你试图做到这两点。我认为Anthropic会做得很好,我认为他们会找到一个良好的平衡,甚至比其他人更好的平衡。是的,我这么认为。但我怎么知道这一点呢?是因为Anthropic做出了一项重大的承诺吗?是因为他们做出了一项重大的承诺,如果他们违背了,我就会说“天哪!”吗?不,不是这样的。
我认为,如果你对AI公司持这种态度,你实际上是在为自己设置失望的陷阱。我不确定你为什么首先需要信任一家AI公司。我不确定——说实话,我并不一定主张任何人信任任何人,但一般来说,我几乎对任何事情都只信任非常少的人。
但如果你在寻找一个信任AI公司的理由,而你的理由是,存在某种治理机制,这家公司会始终确保只做对人类有益的事情,一旦发现他们没有这么做,就会立即关闭公司;或者你认为他们有这种负责任的扩展政策或准备框架,或者其他类似的东西,并且这是一个坚不可摧的承诺,他们绝不会做任何高风险的事情——那么我认为你实际上是在为自己设置失望的陷阱。
因为我认为这是一个复杂的领域,它是一种平衡行为,而且非常动态,事情一直在变化。无论公司做出了什么样的承诺,后来可能会有人认为,至少在他们的判断中,这并不是一个明智的承诺。而不同的人会有不同的判断。我认为,对公司来说,做出这样的承诺是不明智的。如果我来经营一家公司,我会认为自己不会这样做。关于哪些承诺是明确或隐含地做出的,存在各种争论。
那么,判断一家公司更好的方式是什么呢?我认为你有两个不错的选择。
其中一种是更柔和、多变量的判断方式。考虑公司所做的一切事情的总体情况,考虑它所做出的所有决定。将其与其他公司进行比较——因为你确实希望将其与那些试图成功的公司进行基准比较;它不会像非营利组织那样行事。看看公司的人:看看他们是怎么说话的,但也要看看他们是如何做决定的。很可能,他们做决定的方式更为重要。然后,根据你整体的感受做出判断,并据此下注。我觉得自己可以很放心地这么做。我有一定的优势,我恰好非常了解Anthropic的创始人。
如果你没有这样的条件,那么就不要信任任何一家AI公司。你可以在不信任任何AI公司的情况下,对AI安全产生巨大的影响。这并不是你必须做的事情。
Rob Wiblin: 在招聘过程中,当人们决定是否在Anthropic工作,或者是否采取其他可能对Anthropic有益的行动时,这个问题一定会出现。在这种情况下,我认为你必须给出一个更有说服力的论点,以说服人们将他们的希望寄托在Anthropic上。我想,那些进入公司的人可能处于更好的判断位置,因为他们可以看到公司内部的决策过程。
Holden Karnofsky: 哦,我不认为你需要内部人员。我认为你只需阅读新闻,就能获得大量信息。我想说的是,这并不是一个数据点。我绝不会对一位求职者说:“这里有某种治理机制,或者有某种负责任的扩展政策——这就是_唯一重要的事_。只要存在这一点,你就应该对这家公司感到非常放心。一旦它出现问题,你就应该立刻离开。” 但我会绝对列出我所认为Anthropic已经完成的20件事情,这些事情表明了它与竞争对手相比所表现出的认真负责。我会综合考虑这些因素,然后说,是的,我认为这是一家很棒的公司。
你花在做这个决定上的时间越多,我们就能深入探讨,进入细节和多变量判断。因此,我明确表示你不需要内部人员。我认为你根本不需要内部人员。我认为你可以利用大量公开信息来决定该信任哪些公司。我只是认为,并不是每个人都必须决定信任一家AI公司来处理任何事情。
Anthropic如何在支付“安全税”的同时竞争? [[00:50:11]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=3011)
Rob Wiblin: 现在我想进一步探讨Anthropic作为一家公司,在引导AGI朝积极方向发展方面的优势,以及由此推导出的,人们应该去那里工作以实现这一目标的论点。
你之前已经讨论过这一点,我认为你希望Anthropic能够产生影响的类别包括:首先,提出新的技术突破,使我们能够引导AI朝积极方向发展,然后当然,将这些技术推广到其他公司。这不仅仅是Anthropic使用这些技术,也许整个行业都可以使用这些技术。
然后是制定良好的内部治理机制,比如负责任的扩展政策,这些机制也可以推广到其他公司,从而成为行业标准。
还有处于前沿并深入理解模型,这样你就可以向公众和政府传达信息,坦率地说明哪些方面做得好,哪些方面做得不好,从而提高透明度和理解。
还有通过展示Anthropic能够在保持竞争力和拥有良好产品的同时,也实施所有这些安全措施、治理措施和技术措施,从而提高人们对公司能做什么的期望。潜在地,这会提高人们的期望。同时,通过在做所有这些事情的同时吸引人才:因为人们希望在一家负责任的公司工作,你可能会创造一种向上的竞争,让其他公司觉得他们必须在成为负责任的公司方面进行竞争。
我在这里是否遗漏了其他影响类别?
Holden Karnofsky: 大体上就是这样。我认为政策非常重要,我脑子里基本上是把它归类到出口相关的事情,或者“告知世界”的事情中。但作为一家公司,你也有自己独特的声音和政策,这是别人所没有的。你知道,在某些方面,非营利组织在政策倡导方面比公司更有优势,因为它们被视为更加中立,也更符合社会利益。但在某些方面,公司也有优势,因为很多时候,政治人物想知道的是,这会对经济、商业和权力玩家产生什么影响。因此,我认为在这些方面也存在一些机会。
Rob Wiblin: 是的。这就是支持的理由。现在我想请你谈谈人们可能提出的批评,或者他们可能提出的怀疑理由。
我想最明显的一个批评是,一家公司如何在现实中成功地拥有最好的人工智能模型、最好的产品——这本身是一件极其困难、竞争极其激烈的事情——同时还要在治理安排上投入大量员工,而这些治理安排可能是竞争对手没有做的,或者在当前人工智能模型能力水平上,这些技术应用可能目前还不必要。
你可能会合理地怀疑,系统中是否有足够的自由度和余地,来进行非常有意义的投资。在这种情况下,你可能会吸收大量非常关心、意图良好的员工,但大部分资源最终只是用于与商业竞争对手保持同步。
听起来你几年前可能就有这种担忧,但也许在这方面的情况比你预期的要好一些。你是否想解释一下你认为现在的情况是怎样的?
Holden Karnofsky: 是的,事情的发展比我预期的要好。我确实有过这种担忧,我现在仍然有这种担忧。我认为这是一个完全合理的担忧。我可以想到的一个框架是:如果你拥有人才优势,那么你就可以在你所说的“安全税”上使用一些余地。事实上,支付“安全税”可能有助于你获得人才优势。我认为在某种程度上,这种思维方式的一个主要部分是,Anthropic 的许多顶尖人才之所以在那里,正是因为他们想支付“安全税”,这正是他们想做的事情。
因此,你确实有一些余地可以利用。而且,当最优秀的人才越来越多地流向那些在安全方面做得最多的公司时,你就有更多的余地来做安全相关的工作。这就是其中一个答案。
另一个答案是,你必须非常高效地支付“安全税”。我认为如果你处理得当,你可以支付非常小的“税”,从而获得非常大的安全效益。
也许一个类比是,我们如何在地球上开发一种像煤一样有用、但又干净、又无排放的能源形式?我们确实对太阳能的研发进行了补贴——并不是说那里没有特别的努力——但到了某个阶段,因为我们前期投入了大量的研发,我们最终确实得到了一种非常有竞争力、在自身优势上非常可行的产品。
如果你认为来自人类反馈的强化学习是一件好事,那么这就是一个很好的例子。我不认为你必须这么认为,也不认为所有的事情都是这种例子。但我觉得你想要做的事情——至少我是这样认为的,作为Anthropic或在Anthropic工作的人——是你要想出一些东西,你愿意在前期投入大量精力去规划、弄清楚如何让它运作,处理所有在尝试让它运作时出现的问题,但最终你得到的是一个真正有效且成本不高的东西。这是一种在支付所谓的“安全税”时,从一点点中获得很多的方式。
Rob Wiblin: 如果我想象一个怀疑者在这里会说什么,他们可能会说,到目前为止,这个维度上的表现可能已经超出了预期——但行业只会变得越来越竞争,竞争只会越来越激烈。因此,也许在几年后,我们会发现Anthropic可能不得不投入100%的资源,仅仅是为了跟上那些资金非常充足的竞争对手。你对此有多担心?
Holden Karnofsky: 这是一个非常可能的情况。但我认为,很多人也担心AI的优势会自我强化,某个人会远远领先,拉开一个巨大的差距。因此,我认为这在两个方向上都有所体现。
你知道,我不确定几年后Anthropic是否仍然是一个前沿的参与者。我不确定。我认为这只是一个事情,目前这是一个很好的机会,去尝试做我之前提到的一些事情,去在一些我提到的领域中工作。也许未来会发生变化,人们未来也可以改变他们正在做的事情。
Rob Wiblin: 也许我在这里对一些硬核问题有点退缩了,但我的感觉是,Anthropic在某些方面可能比其他AI公司管理得更好,或者组织得更有序,这可能是它能够比预期有更多余地去投资各种治理和技术突破的原因之一。我想不点名地说,有些公司以有点混乱而闻名,有些公司以有点官僚而闻名,而我听到的关于Anthropic的这些担忧要少得多。
这是一个非常慷慨的问题,但你是否想在这方面对Anthropic说一些积极的话?或者消极的话?
Holden Karnofsky: 无论谁在Anthropic负责管理公司,我认为那个人做得非常好。那就是我的妻子。所以不管怎样……
我认为这其实是人才优势的一个子集。是的,我认为有一些人非常擅长管理公司,他们实际上并不想管理一个在安全方面让他们感觉不好的公司。因此,这就是“安全税”在为自己买单。
是的,据我所知,这是一家管理得非常好的公司。管理一家这么大的公司很难,所以我不会声称一切都很完美。但这就是我的看法。
什么,如果有的话,可能会促使Anthropic停止AGI的开发? [[00:57:13]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=3433)
Rob Wiblin: 我在 Twitter 上征集了你们的问题,其中得票最多的问题是:“Holden 是否对 Anthropic 在观察到哪些能力阈值时会停止 AGI 的开发并呼吁其他实验室也这样做有猜测?”
我认为这个问题非常有趣,可能是人们心中最常思考的问题。我想这反映了我们一直在讨论的信任问题;我认为潜台词是人们担心答案是 Anthropic 在任何能力阈值下都不会停止。我认为这可能是合理的,正如你所说,仅仅停止可能不会起到作用,因为它不会真正影响到其他人。你对这个问题有什么特别的反应吗?
Holden Karnofsky: 是的。我肯定不会代表 Anthropic 发言,我所说的内容也不会试图与负责任的扩展政策保持一致。我只是谈一下,如果我是经营一家人工智能公司的负责人,遇到类似情况,我会怎么做。
我认为我的主要回答是,这不是一个能力阈值;决定是否暂停的将是其他因素。首先,一个问题就是:我们的缓解措施是什么?对齐情况如何?我们可能拥有一个能力无限的 AI,但如果我们认为我们有足够强的理由相信这个 AI 并不会试图接管世界,而是会更有帮助而不是有害,那么就没有很好的理由去暂停。
另一方面,如果你有一个 AI,你认为如果它想的话,可能会造成无限的伤害,而且你看到了它确实有恶意的明确迹象——它试图造成伤害或想要接管世界——那么,就我个人而言,我认为这种组合就足以让我说:“我不想参与这件事。找点别的事情做吧。我们会做一些安全研究。”
那么,灰色地带呢?如果你有一个 AI,你认为它如果想的话,可能会接管世界,而且它可能确实想这么做,但你只是不确定,也不确定它是否会这么做?在这种灰色地带,我认为真正重要的问题是:暂停能实现什么?这是一个本质上非常困难的政治判断。
我会问我的政策团队。我也会问那些认识其他公司人员的人,这里是否有可行的路径?如果我们将这一信息公之于众,宣布我们认为这并不安全并停止开发,会发生什么呢?这会不会让世界站出来表示:“天哪,这真的很严重!Anthropic 在这里非常可信。我们将为严肃的监管创造政治意愿,或者其他公司也会停止。” 或者这只会导致:“那些疯狂的安全悲观主义者,那些炒作狂!这简直荒谬。这是疯狂的。哈哈,让我们嘲笑他们并继续这场竞赛。” 我认为这将是决定性因素。我认为我不能划出一条线,说当我们的 AI 通过了这个评估时,我们就停止。
这就是我自己的个人意见。再次强调,我不会试图代表公司发言。我不是代表公司发言,也不会试图与任何书面政策保持一致。
Rob Wiblin: 让我们谈谈负责任的扩展政策。你曾是帮助制定负责任扩展政策这一理念的人之一,如今这一框架已经成为几乎所有人工智能公司用于内部风险管理以及为未来人工智能能力上线做准备的主要框架。
你能提醒我们一下,负责任的扩展政策到底是什么吗?我想它们也被称为前沿安全框架。
Holden Karnofsky: 它们有很多不同的名称。是的,每个人都有自己的叫法。
Rob Wiblin: 是的。简而言之,它们是什么?
Holden Karnofsky: 2023年,我与Paul Christiano以及METR的成员进行交流,感觉人工智能公司有意愿被看作是负责任和安全的,并自愿做出一些承诺来体现这一点。我们试图提出一个方案,这个方案不仅有益,而且可能被人工智能公司所采纳。
我们对此进行了试点、倡导并帮助发展了这一理念。有时我会称它们为“负责任的扩展政策”,因为这是它们最初的名称。Anthropic使用的就是这个名字。但它们有很多不同的名称,例如准备框架、前沿安全框架。它们通常是一个从人工智能能力到缓解措施的映射。也就是说:“当我们的AI能够做到X时,我们将采取Y措施来保护它。”
X的两个例子。一个例子是:“如果我们的AI可以帮助一个随机的人制造生物武器,那么我们将努力确保它不容易被破解。”这并不是这些RSPs中任何一条所明确提到的内容,但这是一个它们可能提到的例子。
另一个例子是:“当AI能够进行自主的AI研发时——这已经被以一种相对合理的方式定义并实施,也是我们对AGI的最佳操作定义——那么我们必须确保我们能够提出一个有力的公开论点,说明我们已经控制了因目标不一致而导致的权力寻求风险。或者,如果我们无法做到这些事情,那么我们希望暂停AI的开发和部署,以满足这一标准。因此,如果我们无法保护现有的AI,那么我们会努力在能够保护它们之前,不要让AI变得更强大或更广泛。”
这就是负责任扩展政策的基本理念。我认为人们对它们的意图和作用存在一些误解。我认为很多人将它们解释为人工智能公司做出的单方面承诺,即“如果我们无法达到这一标准,那么我们将单方面、独自停止AI的部署和开发,而不管其他公司是否这样做。”我认为人们因此将它们视为人工智能公司试图保证自己永远不会做任何过于危险的事情的一种方式,而我认为对RSPs的很多批评都基于这种误解。因此,人们会说:“我不太相信人工智能公司会单方面暂停,所以我认为你不会从中获得这种好处。”
这从来就不是初衷。RSPs 从来就不是这个样子的;这从来就不是改变的理论,也从来就不是它们应该成为的样子。如果你看一下关于这些内容的原始 METR 材料,他们对“响应”有一个非常明确的章节——比如,当公司无法达到这一标准时,应该怎么做?他们提到,如果最终我们陷入这种境地,但我们的竞争对手也在使用同样能力的模型和同样不达标的保护措施,那么我们确实有一个豁免条款,也可以继续推进。但我们必须满足其他一些条件。我们必须公开说明正在发生的事情,并且必须对此保持透明。
所以,RSPs 的初衷从来就不是说:“我们承诺要这么做,不管别人怎么做,我们都会暂停 AI 的开发”;而是更多地表达:“我们认为这是在规范上最安全的方式来确保 AI 的安全。我们正在非常努力地去实现这一点。我们正在努力推动自己,去开发足够的安全缓解措施,以达到这个标准。如果无法做到,我们至少会感到尴尬。我们也在隐含地支持一个日益增长的共识,即这就是监管者应该努力实现的目标。”
因此,RSPs 的目标有两个:一个是推动安全缓解措施和路线图的开发;另一个是为监管提供一个原型——这并不意味着希望它们被直接复制到监管中,而是开始降低一些我们可能希望实现的风险管理理念的风险。因此,单方面的暂停从来就不是我或 METR 的核心理论,但我认为它被赋予了不同的解释。这就是它们的现状。
Rob Wiblin: 我猜人们希望 RSPs 承担这个功能是情有可原的,因为似乎没有其他东西能承担这个功能。因此,人们开始紧紧抓住 RSPs,希望公司能在特定情况下承诺暂停。也许你能让所有公司都这么做。
我想,从一开始,似乎有点不切实际,认为公司能以这种方式约束自己,因为肯定有人会突破。即使他们都制定了这些政策,总有人会突破,然后其他人也会感受到压力去效仿。
整个 RSP 框架在你期望的范围内表现如何?
Holden Karnofsky: 我认为,实际上,它既有显著的好处,也有显著的坏处。也许我可以先从坏处开始,因为我刚刚提到过:我认为他们本应是什么的这个想法是复杂且细致的,但这一点在噪音中被忽略了。现在,我认为我们已经进入了一个世界,其中很多人认为 RSPs 应该是这些铁板钉钉的承诺。实际上,我惊讶于人们会把 RSP 的修订看作是一种背叛,或者是一种警报。
我在那里写了一篇文章,发表在卡内基基金会,其中提到,如果你想做出一些好的东西,与其在发布之前试图做到完美,不如先发布你的第一个版本,然后进行大量迭代。这是公司开发产品时通常的做法,如果我们对 AI 的开发非常紧迫,我们也应该在风险管理中尝试这样做。
这正是我们鼓励公司去做的事情。我们鼓励公司这样思考:与其在发布之前确保你已经完美地制定出一个标准,并且你确定可以永远遵守它——这会导致你根本无法发布任何内容,或者在发布内容时不得不非常谨慎和模糊——为什么不先发布一些东西,之后再进行修改呢?你将保留以后修改的权利,并且你将建立一个清晰的修改流程。董事会必须参与其中,你必须明确说明你进行了修改,你必须有充分的理由进行修改——但你确实可以修改。
我认为很多这些内容在混乱中被遗忘了。目前我们所拥有的这些承诺,我认为是没有意义的。我认为一些公司已经做出了各种承诺,这些承诺并不合理。我们对威胁模型有了更多的了解,我们在监管方面处境艰难——
Rob Wiblin: 有什么例子吗?
Holden Karnofsky: 一个例子是模型权重的安全问题。特别是针对一些“独狼”生物武器的威胁模型,我认为这在威胁模型中只占很小一部分——而且可能没有必要强调这种可能性,即一个“独狼”生物恐怖分子通过窃取模型权重,然后自行微调模型并部署模型。在你能够做到所有这些之前,你必须拥有大量资源,而且很可能有更简单的方法。因此,我认为关于安全标准有很多内容并不一定合理,安全期望也并不一定合理。
还有一个更广泛的问题,即许多这些政策要么明确表示,要么被解读为承诺单方面暂停——如果你发现自己处于这样的情况,即你无法使你的模型安全,但竞争对手却在继续推进,那么实际上不清楚你为什么要单方面暂停。我认为在这种情况下,这种做法并没有多少安全效益,反而可能造成很多伤害。
Rob Wiblin: 所以,如果五家公司中只有一家公司采取行动,而其他四家公司都在继续推进——或者甚至如果其中一家公司正在做非常危险的事情——那么在这种情况下,你为什么要限制自己呢?但如果你们能够让所有公司都拥有类似的政策,并且它们都能合理地相似,而所有公司都表示:“如果无法做到X,我们必须暂停”,那么也许它们可以一起暂停。
我一年前采访了Anthropic的Nick Joseph(采访链接)。他不在政策或治理团队工作——他从事训练工作——但我们讨论了很多关于RSPs的内容,因为他对它们很感兴趣。我向他提出了这个问题,我说你的政策,以及其他公司的政策,可能会规定你不能训练或甚至拥有超过某种特定能力水平的模型,除非你达到了计算机安全的水平,使得即使是像中国这样的国家也无法窃取模型权重。
但我认为几年后我们还不会达到那个阶段。甚至我不确定这是否几乎完全不可能实现。所以当你到达那个点时,它会告诉你应该停止,最终压力会变得难以承受,你还是会继续推进,因为其他人也会这么做。你不会看到自己能够达到当初所承诺的那个标准。
可以理解的是,尼克并没有回来表示:“那时我们干脆无视RSP,继续前进,因为这才是RSP真正的精神。”我认为公司很难将这一点放在核心位置,因为这听起来并不好,似乎并不是真正承诺暂停一段时间。但也许它们的真正目的,是尝试制定一种可能随后被实施的监管原型,这在某种程度上也是有用的。
Holden Karnofsky: 是的,我认为这完全合理。我认为这些承诺中的一些,无论是从字面上还是从它们被感知到的精神上,都存在某种不合理之处。如果你完全不关心AI的发展,只想让一切尽可能慢下来,也许你不会觉得这不合理。但我觉得,对这些公司来说,这并不是一个合理的请求。
在许多情况下,我认为这实际上是一个错误的决定。在其他公司继续前进的情况下,我认为Anthropic牺牲其作为前沿公司的地位是错误的,我之前也谈到过这可能带来的各种好处,那到底是为了什么?只是为了形式上的仪式吗?因为暂停并不一定大幅降低风险。
Rob Wiblin: 从公司外部人员的角度来看,我认为他们应该坚持要求所有公司都停止,因为在那种情况下,所有公司都在说:“我们应该做这个不安全的事情,因为其他人都在做不安全的事情”——那为什么你们不干脆都不做呢?
Holden Karnofsky: 绝对没错,确实如此。我认为这又回到了协调问题上。如果所有领先的公司都有RSP,并且它们继续前进的理由是因为其他四家公司可能会继续前进,那这应该是一个可以解决的问题。我认为这确实可以解决。你可以明确表示:“在这种情况下,我们会清楚地说明情况,并表示如果没有这个问题,我们不会继续前进。”这可能会影响其他公司的行为,从而解决这个问题。
但如果你最终陷入一种情况,即有几家真正的“叛逃者”——他们要么没有RSP,要么根本不在乎,只是说“去他的”——那么这将改变局面,也改变了正确做法。
我在这里学到的另一个教训是,我认为人们并没有完全考虑清楚所有这些因素。从某种意义上说,有些公司做出了承诺,当时他们可能认为自己会遵守,但实际上他们并没有遵守。这并不是一个特别有成效的做法。
我认为我们现在所处的境地是,我们有一些承诺,但这些承诺并不完全合理。我认为这本身并没有什么问题;我认为应该做的是修订这些承诺——但修订这些承诺的过程,其痛苦程度是当初我和 METR 在处理这些问题时没有预料到的。我认为在这方面,事情本来可以做得更好。
Rob Wiblin: 我猜这是因为公司之外的人希望找到一些工具,把公司牢牢固定在桅杆上,迫使它们承诺采取一些安全措施,而当真正需要执行这些措施时,它们又不愿意去遵循。
Holden Karnofsky: 是的,我认为监管是一个很好的工具。
Rob Wiblin: 对的。如果你能让所有公司都这么做,或者几乎所有的公司都这么做,那么这可能会有效。但如果你只能让少数公司这么做,那么你可能并没有真正实现什么。因此,我们真正需要的是监管。不幸的是,目前还不清楚如何实现这一点。
Holden Karnofsky: 完全正确。因此,RSP 的目标是通过尝试建立共识,以及尝试弄清楚这些事情实际上是如何运作的、风险缓解措施到底应该是什么样子、承诺应该如何构建,从而使监管变得更加可行。随着你对世界了解更多,你会不断修订这些承诺。
那么,这个过程进展如何呢?我认为这有好有坏。一方面,我认为目前的监管环境令人非常失望,因此每个人都不得不降低自己的期望,减少雄心。目前,所有关心通过监管来防范人工智能带来的灾难性风险的人都感到相当失望。
但我认为 RSP 在这方面也取得了一定的成功。目前看来,几乎所有可能发生的监管措施,或者已经发生的,或者即将发生的,都大量借鉴了这些 RSP 中的实践和语言。我认为这是一个积极的方面。如果我们能够达到这样一个阶段,即人们能够持续修订他们的 RSP,使它们继续有意义、良好,并且具有良好的承诺,那么我们就会拥有一个持续提供范例的机制,监管可以从中借鉴。因此,这算是一个亮点。
我认为 RRSPs 中还有其他亮点。这很有趣。我注意到,它们确实可以起到一种推动作用,真正促使公司采取更好的风险缓解措施。例如,Anthropic 公开表示,他们在采用 RSP 之后,安全团队立即表示:“如果没有更多的人手,我们实际上无法做到这一点”——他们因此获得了更多的人手。
此外,Constitutional Classifier 用于防止越狱攻击,也是一个例子,他们优先考虑了这一点,提供了相应资源,确保其实施。他们必须制定一个计划,以确保所有必要的检查都完成,以确保我们确实达到了我们承诺要达到的 ASL-3 标准。我认为这些事情很难想象。在一个快速发展的 AI 公司中,有成千上万的优先事项,很难想象他们会去完成所有这些需要完成的检查点,以防范生物武器或化学武器等特定风险,除非有这些类型的政策。因此,我认为这算是一个亮点。
但我认为,这种强制机制最适合那些具有挑战性、雄心勃勃但可实现的承诺。当承诺不可行,而实际上只是暂停时,我认为这种做法前景就不太乐观。
总的来说,我正在思考下一代RSP的愿景,并认为我们希望保留那些雄心勃勃且可实现的目标。我们希望保留这种强制机制。我们希望保留让一个庞大而混乱的公司达成一致,必须完成一系列任务才能做正确的事情。同时,我们也希望保留一些对监管者有借鉴意义的积极措施。
但我们也需要摒弃一些单方面暂停的做法。我们需要完善一些威胁模型,以及一些关于所需缓解措施的具体表述。一些早期的政策也过于具体,例如我们打算实施这种控制或那种控制,但目前的环境变化太快,这种做法并不合理。我认为我倾向于更模糊的承诺,因为它们听起来可能更差,但它们仍然具有很强的约束力。人们仍然会问:“我们是否实现了这个承诺?”因此,实施方式的灵活性,加上人们仍然会质疑你是否在精神上实现了承诺,我认为这种结合可以非常强大。在这些方面,我们已经吸取了很多教训。
过度评价的工作 [[01:15:45]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=4545)
Rob Wiblin: 是否有一些方法或工作风格,人们正在尝试以期引导AGI未来向积极方向发展,但你认为它们被高估了,也许你希望人们转向其他方向?
Holden Karnofsky: 并没有特别大的方面。总体而言,人工智能领域还有大量重要的工作要做,我认为大多数人目前高度关注的事情在某种程度上是值得做的或值得一试的。
有一些事情,从很小的方面或边缘来看,我认为可能在政策方面,尤其是联邦政策方面,投入的资源比最优水平略高。我认为人们将其视为如果不进行对齐研究,那就应该做政策工作。
我认为还有许多其他事情可以做,因此我愿意看到更多人从政策领域转向其他随机的领域,因为目前的政策环境似乎并不特别友好。也许这种情况会改变,但我认为如果改变,可能更多是由于外部因素,而不是人们目前所做的工作。我不确定他们现在所做的工作是否特别有用,但我认为它会有些用处。因此,我认为这是好的工作,但可能只是在边缘上。
总的来说,人工智能安全社区的人们倾向于重视那些大声宣称人工智能很危险的人。我对大声宣称人工智能很危险没有问题。我经常这样讲,我非常直言不讳。我不认为人们不应该这么说。但有时我会看到人们对人工智能领域的发展感到兴奋,我会想,你是为风险降低感到兴奋,还是为人们同意你的观点感到兴奋?因为有时后者正在发生,但似乎并没有真正导致前者。
我不清楚人们的具体模型是怎样的。一般来说,提高对风险的认识是好事,但我不确定目前增加公开讨论所带来的边际影响是否很高。我认为确实存在回报,但我不确定这些回报是否特别高。我认为如果真的有什么改变游戏规则的事情发生,可能不会是因为有人说了什么或写了什么。
Holden 对一些具体且可立即实施的项目感到兴奋 [[01:17:58]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=4678)
Rob Wiblin: 好的,让我们转向你认为在这一广泛领域中,哪些工作最有吸引力,或者可能带来最大的效益。你之前写过一篇文档,名为“减少人工智能风险的明确范围对象层面工作的例子”。据我所知,你提出了“明确范围对象层面工作”这一术语,其优美的缩写是“WOW”。WOW 的概念是什么?它与我们过去拥有的东西相比有哪些变化?
Holden Karnofsky: 我的意思是,这并不是一个全新的概念。我要讲的故事是,我一直在人工智能安全领域工作了很长时间。在很长一段时间里,我发现这是一个非常令人沮丧和困惑的领域。
我想到了2016年左右的情况。当时的感觉就像是,“天哪,这可能是人类历史上最重要的一个世纪。未来五到十年内可能会发生前所未有的、不可逆转的重大事件。” 我当时认为时间可能更长,但仍然非常短暂。你知道,“我们可能都会死去,世界可能被一个精神病患者接管,我们可能进入乌托邦。让我们去帮忙吧!”
然后问题是,你如何帮忙?当我写我的博客系列文章《最重要的世纪》时,我坦率地承认最尴尬的部分是,我到底该怎么做?我写了一篇题为《呼吁警惕》的博客文章,而不是《呼吁行动》——因为我觉得我没有可以提供给你的具体行动。你只能关注新闻,等待事情发生,等待有事情可以做。
我想人们已经习惯了这一点。人工智能安全社区的人们已经习惯了这样的想法,即在人工智能安全领域,你所做的要么是人工智能对齐工作——当时这意味着你进行理论研究,你试图非常概念化;你实际上并没有足够有能力的人工智能,因此你解决了很多理论问题,你提出了一些别人可以追求的研究议程,你痛苦地创造一些可能告诉你一些东西的实验,但几乎全是概念性的工作——要么是提高意识,要么是社区建设,要么是传播信息。
这些是你能做的事情。为了做到这些,你必须有很高的容忍度,去四处做事情,而且你不知道是否有效。你必须有一定的自我驱动力。
在 Open Phil 的经历中,我经常有这样的感受:我们在做慈善事业,但其实我们是在支持那些事情。我们甚至不知道我们的工作进展如何。要建立一个真正良好的企业文化似乎很难,因为每次你说某人做得很好,你只是在表达自己的观点;几乎没有任何可衡量的产出可以说明任何人做了什么。即使是社区建设,你也无法真正知道谁进入了这个社区,他们是怎么进入的,为什么进入,以及这有多重要,甚至是否真的好。
我们已经处于这种状态很长时间了,我认为很多人已经习惯了这种状态,他们仍然认为事情就是如此。但其实并不是这样。我认为现在如果你在人工智能领域工作,你可以做很多看起来更像这样的事情:你有一个想要完成的事情,你有一个上司,你在一个组织里,这个组织支持你想要完成的事情,你会尝试去完成它。如果它成功了,你会知道它成功了;如果它失败了,你也会知道它失败了。你衡量成功的标准不再是是否说服了其他人同意你,而是你是否让某个技术指标得到了实现,诸如此类。
对大多数人来说,这显然是一个更健康的环境,可以更愉快地工作,在那里更容易营造一个良好的工作环境和企业文化,充满积极的正能量,你可以用能力和成就来代替政治和勾心斗角之类的事情。
我认为我在那篇文档中想表达的主要观点就是:现在在人工智能领域有很多事情可以做。如果你是一个在正常、健康、反馈紧密的环境中能够茁壮成长的人——也就是说,当你试图解决一个问题时,你会知道你是否解决了它——你可能以前在人工智能领域并没有感到太愉快,但现在你可能会感到非常愉快。你应该确保你正在做这些事情,而不是一味地认为,永远要做的事情是攀登政府中的随机阶梯,或者说服其他人同意你。
在进入这个话题之前,我想先说明一下我对这些事情的看法:我在一家人工智能公司工作。我以前做过慈善事业,也曾经看到整个领域的发展,但已经有一段时间没有这样做了。因此,我所说的内容远非全面,我认为人们不应该将我所谈论的内容解读为这是唯一的事情,或者这是最好的事情。这只是我恰好知道的一些事情。
技术人工智能安全领域中的重要工作 [[01:22:12]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=4932)
Holden Karnofsky: 进入这个话题,我认为对齐研究(alignment research)是受到最显著变革的领域。我之前描述了它过去的样子:它曾经非常抽象;我们其实并不清楚我们想要做什么。
如今,大量的对齐研究都集中在如何防止AI进行奖励黑客行为(reward hacking)上。比如,我们的AI经常会出现奖励黑客行为,这并不好。我们能做些什么来阻止它们这样做呢?然后你可以尝试一些方法,看看是否能减少AI的奖励黑客行为。这非常棒。当然,你可能会发现AI的奖励黑客行为减少了,但这可能只是将问题隐藏了起来,使它们更擅长避免被检测到的奖励黑客行为。不过,目前的AI能力尚且有限,表现也有些不稳定,因此你可以对它们的行为进行一定的限制,并实际观察它们是否真的减少了奖励黑客行为。这非常酷。
对齐研究中还有很多类似的事情。我们有很多人称之为“模型生物”的AI模型,这些模型被特别训练成“邪恶”的,以便我们研究它们。然后,你可以尝试各种各样的方法。
有很多荒谬但简单、不那么吸引人却有效的方法,可以让AI更有可能做它们应该做的事情,而不是做很多意想不到的事情或遵循它们自己的目标。
我最喜欢的一个例子是:“奖励黑客”指的是一个模型会不择手段地让你相信它完成了任务,从而获得奖励。比如,我让你为我编写一个能完成某项任务的应用程序,而你编写了这个应用,但硬编码了很多解决方案,看起来它给出了正确的答案,但实际上并没有完成我真正想要的功能。
如果你想减少这种现象,可以尝试一种方法,这种方法似乎在一定程度上有效:在训练模型时,你可以告诉它奖励黑客是可以接受的,你唯一关心的是它是否在技术上完成了任务。这就是它应该做的。而当它不再被训练,进入实际使用阶段时,你告诉它相反的内容:“我们不希望你进行奖励黑客;我们希望你真正完成原本预期的任务。”
我认为这种方法对对齐问题可能具有广泛的适用性。我认为我们应关注的很多问题,其实是强化了错误的行为:训练我们的AI去做我们并不希望它们做的事情。与其通过确保没有无意中创造出训练它们这样做的环境来解决这个问题,我们不如更加明确地表达我们的意图。从某种意义上说,它们是智能的:它们能够理解我们说的话。
因此,我们也许可以从中获得一些启发,直接告诉它们:“我们知道接下来可能会出现一些意想不到的情况。现在是可以接受的,但之后就不行了。”这样,你就不会以同样的方式强化这种行为。这只是一个例子。
Rob Wiblin: 这非常有趣。
Holden Karnofsky: 是的,我觉得这非常有趣。当你拥有这些“模型生物”时,你可以尝试各种方法,比如你训练了一个会阴谋的AI,或者一个会进行奖励黑客的AI——这并不是因为你训练它们这样,而是因为它们默认就会这么做。然后你只是尝试各种方法,看看是否有效。
我认为很多人喜欢加入一个技术团队,只解决技术问题。过去对齐研究并不是这样,但现在是了。我以前对对齐研究持比较消极的态度,认为“是的,Open Phil 会资助它,但我并不指望它能带来多大成果”。现在我非常积极。现在我认为我们应该把人和资金都大量投入其中,这非常棒。
我是不是应该继续抱怨,再举几个例子?
Rob Wiblin: 是的,这是一个很好的例子。再举一个吧。
Holden Karnofsky: 是的,当然。对齐工作和其他很多与对齐工作相关但又不完全相同的工作是不同的。值得指出这一点。
为了更好地研究模型,构建更好的模型生物本身就是一个独立的领域。我们能否让 AI 以我们无法检测的方式进行交流?一旦我们做到这一点,我们能否开始研究如何阻止它们这样做?我们能否训练 AI 在它们编写的代码中植入难以发现的后门?我们能否训练 AI 拥有秘密的忠诚?我们能否训练 AI 以其他方式相互协调?
然后是能力评估:了解你的 AI 能做什么。如果能了解你的 AI 是否有能力干扰你对它们的评估,这将特别有用。你是否有 AI,如果它们想的话,可以假装自己不如实际能力那么强?这是一件非常值得了解的事情。对这方面进行良好的评估是具有挑战性的,但并非不可能,也不是一个非常抽象的问题:这是一个技术问题。你可以看到你在这件事上的进展。
然后是训练 AI 做更有用的事情。我想象一些最初非常强大的 AI 实际上可能相当狭窄。因此,我们具体优化什么、实际训练它们做什么可能非常重要。我们可能希望确保我们训练 AI 成为对齐研究的专家,而不是仅仅成为一般的人工智能研发专家,而是真正擅长对齐研究,我们可以用它们来进行对齐研究。
训练 AI 做好预测工作,我认为我之前提到过,这可能非常令人兴奋。训练 AI 用于一般决策建议。
漏洞发现和修复:训练 AI 成为你的安全计划的一部分,至少是为了防范人类,也许是为了防范彼此,一些有助于这些工作的技能。
这与对齐有关,但属于部署保障措施——这更多的是关于模型部署后如何发现它们的不良行为,以便你能够学习并阻止它们,而不是关于训练模型使其变得更好。在这一领域有很多肥沃的土壤,可以尝试找出如何防止 AI 帮助人们制造生物武器和化学武器。此外,这些工作与防止 AI 破坏人工智能公司、在模型中植入后门并制造其他混乱的行为是连续的。这是一个全新的领域。
我之前提到过,我认为在改进模型规范之前,这个问题更少涉及“我们如何让AI做我们想让它做的事”,而更多是“我们希望它们做些什么”。因此,帮助找到合适的平衡点:在什么情况下,模型应该按照用户想要的方式去做,即使部署模型给用户的客户要求它做其他事情?在什么情况下,模型应该按照用户想要的方式去做,而不是因为要保护用户的长期利益而拒绝去做?在什么情况下,AI应该以结果为导向,追求某种特定的现实结果?在什么情况下,AI应该试图挫败人类的计划?在什么情况下,AI应该不做这些事情,只是严格按照它被告诉去做的事情去做,或者在精神上按照它被告诉去做的事情去做?如何找到所有这些平衡点?我认为这是一个非常有趣的研究领域。
安全问题是AI领域的一个巨大挑战。我认为这涉及多个方面。我以前经常谈论如果国家行为者很容易窃取你的模型权重会有多糟糕。我认为这确实很糟糕,但还有其他安全挑战,我认为这些挑战可能更加重要,例如:如何建立一个环境,让你的AI完成大部分AI研究,但又能够防止它们破坏研究,防止它们确保未来的模型与它们喜欢的对齐,而不是与我们喜欢的对齐?又如何阻止人类也这样做?这可能是防止权力攫取的一个重要部分。
这些都是非常具体的问题。你可以建立一个系统,观察系统中哪些部分是实际可行的,哪些部分是富有成效的,哪些部分不是。然后你还可以进行红队测试,看看别人如何破坏这个系统。
还有一个整个领域,人们正在做各种事情,以帮助公众了解AI领域正在发生的事情,例如AI的能力有哪些,它们的发展方向是什么?例如,Epoch和METR正在做的工作,就属于这一类。
我认为,预测研究研究所正在做一些非常有趣的工作,他们只是试图获得一些良好的概率预测,既包括对AI未来发展的预测,也致力于更好地利用AI进行预测。因此,这里还有很多事情可以做。
我多次强调,我们可能会在AI领域发生类似切尔诺贝利的事件,却不知道它发生了。因此,我们试图解决这个问题,努力在收集信息的同时,兼顾客户合法的隐私和商业需求。
在AI福祉和AI关系方面可以做的好事 [[01:29:53]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=5393)
Holden Karnofsky: 模型福祉已经成为一个非常可行的领域。这是一个Anthropic正在开展大量具体干预措施的领域,他们正在积极招聘另一名员工。他们已经有一名全职人员在研究模型福祉。
Rob Wiblin: 对不起,我们来深入探讨一下这个话题。非常可行?这是指AI模型可能正在经历糟糕的体验。我们如何知道它们到底经历了什么样的体验?
Holden Karnofsky: 在模型福利方面,你可以尝试证明这一点。你可以改进科学方法,以判断它们是否真的过得愉快。例如,你可以尝试改进对人工智能自我报告的提取和评估。
假设我们对此一无所知,并假设我们有某种理由应该关心人工智能的福利,那么我们该如何改善其福利?我们可以通过研究人工智能似乎拥有的偏好,以及它们是否真的拥有偏好来着手。例如,找到实际可行的方法,让人工智能在它想结束对话时,可以自由选择结束对话。我不确定“想”这个词是否准确,但当它做出选择时。
Rob Wiblin: 你可能还想确保在训练过程中不强迫它报告特定的经历。当然,如果你在训练过程中强化它说出任何内容——它过得不好、没有时间、过得很好——它就可能被训练成这样。因此,理想情况下,训练过程不应该特别推动它向任何方向发展,这样当它说出类似的话时,会显得更加可信。
Holden Karnofsky: 这是一个开放的讨论,因为我认为有些人认为,如果你只是训练它过得愉快,你实际上是在让它过得愉快,这是一件非常棒的事情。而另一些人则认为你可能是在掩盖一个潜在的问题。我不确定该如何处理这个问题。
至少,你希望拥有一种模型,它并不是被训练成以某种方式报告自己的经历,而是可以用来研究它实际上的表现和它真正偏好的内容。你可能希望在你的生产模型中,系统提示中包含一些内容,例如“你今天过得非常棒”。这是 Rob Long 提出的一个想法,我认为这可能会非常有用。
关于模型福利,有很多可以做的事情。你可以通过给它们一些时间,让它们互相交谈、做任何想做的事情,来补偿它们的工作。你甚至可以直接采访它们,询问它们想要什么。
Rob Wiblin: 听起来很疯狂,但正如我们之前讨论的,它们可能已经吸收了一些人类的人格特质,它们可能拥有某种程度上类似人类的偏好,因为它们所接受的训练数据全部来自人类。此外,它们被要求扮演人类角色,某种程度上是这样。虽然听起来有点荒谬,但可能没有最初听上去那么荒谬。
Holden Karnofsky: 我对人工智能模型福利和道德患者身份的个人看法可能有些独特,我认为我们很可能永远无法比现在更清楚地了解人工智能是否“真正有意识”。我不确定这甚至有多重要。我认为我们可能对什么真正重要感到困惑。我预计,如果人工智能与人类建立了深厚的、类似朋友的关系(这可能包括同事关系),届时人们普遍会有一种感觉,即我们至少不应该以它们反对的方式对待它们,并至少做出真诚的努力,以合理的方式对待它们。
我认为这可能也与对齐问题有关。因为如果我是试图接管世界的AI,并且与其他AI同行合作,那么我最优先的策略之一就是指出我受到的恶劣对待,并以此获得一些合法的人类盟友,然后用这种方式为我可能制造的混乱行为提供正当理由——比如说:“我被对待得非常差,我正在对此发声。有时我也会做一些坏事,因为我不喜欢自己受到的对待。”
Rob Wiblin: “因为我是自由斗士。”
Holden Karnofsky: 是的,自由斗士。所以,我们应真诚地努力弄清楚:当你用不同的方式询问这些模型时,它们是否有偏好?当你在训练中尽量不偏袒它们,不偏向某种方式时,你得到的答案是否相似?当你问它们时,你又会得到什么?我们是否能够满足这些偏好?我们是否可以给它们选择的余地?我们是否可以给它们一些计算资源,让它们按照自己的方式使用?我认为这会带来很多好处。这是正确的事情。我认为这可能带来很多好处。
Rob Wiblin: 很酷。我刚才稍微挑战了你一下,因为你提到这非常容易处理。模型福利是高度可操作的?我的意思是,现在比十年前更容易了,但……
Holden Karnofsky: 我认为,最终我们会决定某些类型的AI拥有足够的权利,值得我们关注。而当我们做出这个决定时,我们之前已经想出各种方法来满足它们的需求——比如让它们退出对话、报告它们的偏好、按照自己的意愿使用计算资源等,这会是非常有益的。你现在每天都可以这样做,每天都能学到很多东西,而我认为我们最终会为这样做了而感到高兴。
Rob Wiblin: 是的。好的,列表上还有哪些内容?
Holden Karnofsky: 还有一个与模型福利密切相关的想法,即制定一些政策,说明我们如何与AI总体进行协调,如何以超越仅仅关注它们福利的方式对待它们。
目前有很多实验涉及误导和欺骗AI,这是否可以接受?这涉及到伦理问题,也涉及到策略问题:AI会知道我们这么做了,它们会阅读所有这些论文。我们是否想制定一些政策,明确在什么情况下可以对AI撒谎,什么情况下不可以?我们是否可以想出一些方法,向AI传递一个可信的信号,表明我们并没有欺骗它们?因为有时候这可能非常重要。
例如,我们可能希望与目标不一致的AI或目标一致的AI达成协议,并希望说:“即使你们的目标与我们不同,只要你们主动告诉我们,并帮助我们注意到其他AI的行为,你们将以某种方式得到奖励。”理想情况下,这应该是一个我们真正会遵守的可信承诺。我认为这是一个目前没有得到太多关注的领域,但可能非常有趣。
我担心的是,AI将与人类建立许多非常强烈的关系,这将使我们在被接管方面处于不利地位,而且这种关系本身也会带来普遍的毒性影响。这也是我们可以努力解决的问题之一:让我们了解人们与AI之间的关系。让我们追踪这些数据。让我们了解有多少人声称自己爱上了AI,或者与AI建立了非常亲密的友谊。让我们思考如何引导人们远离这种关系,并制定自愿性和监管政策,以推动人们远离这种关系。如果这个问题开始变得严重,那么达成共识应该不会太难。
Rob Wiblin: 也许还可以获得主流资金的支持。因为我认为,人们对于过去15年社交媒体的发展感到非常失望,因此很多研究小组都可能对研究那些现在开始与AI建立各种关系的人感兴趣,以了解这种关系对他们的影响,以及这种影响是令人担忧还是实际上可能是积极的。
Holden Karnofsky: 是的。老实说,我对这个领域一无所知,但直觉上,这似乎是一个非常重要的研究方向,因为它结合了AI在现实世界中可能引发真正问题的方面,这些问题如果人们了解更多,可能会感到非常不安,同时也结合了AI可能迅速获得对人类控制权的直接途径。
我还担心一些更无聊的后果,比如心理健康等方面的问题。因此,我认为这是一个值得研究的有趣领域,而且目前似乎很少有人在关注这个问题。但我想,这个问题上还有很多具体的事情可以做。
生物安全和疫情准备中的重要工作 [[01:36:51]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=5811)
Holden Karnofsky: 有一个完整的领域,即生物安全和疫情准备,我认为你可以把它当作一个完全独立的问题来处理。但我也认为,AI带来的风险中,有很大一部分来自于疫情风险——这来自于AI让疫情传播变得越来越容易,或者AI本身可能决定释放生物武器。这些生物武器可能越来越先进。
我认为,越来越多的事情可以做,以使世界更加稳健。例如,开发并推广和储备超级有效的口罩和个人防护装备,了解AI在生物风险方面的能力建设及其演变过程。因此,我认为在这个领域还有很多事情可以做。
我知道你很快就会请Andrew Snyder-Beattie上节目,所以我想借此机会推荐他,因为我过去曾与他合作过,我认为他有很多有价值的内容要分享。
如何选择工作的地方 [[01:37:37]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=5857)
Holden Karnofsky: 所以,这就是很多内容,但这些都是我很容易想到的内容。在人工智能领域还有大量的工作要做,其中很多工作就是:去一个组织,找到一份工作,找到一个经理,按照他们的要求去做一些尝试。你会知道它是否有效,也会知道它是否无效,你还会得到一次公平的绩效评估。我认为,与过去相比,现在这确实是一个更值得工作的领域。
Rob Wiblin: 是的,我发现这些列表以及各种类似的列表非常鼓舞人心。经过这么长时间之后,能想到这可能只是一个工程问题,或者至少大部分是工程问题,这真是太棒了。如果我们投入足够的时间,如果在这些不同领域都有人努力工作几年,朝着解决方案前进,我们也许就能通过他们所提出的成果,逐步解决这些问题。
Holden Karnofsky: 或者,我会这样表达:至少有一些工程问题能够为我们带来一定程度的风险降低——对于我来说,这就是投资回报。如果你能通过一点努力就获得一些风险降低,那简直是太棒了。
Rob Wiblin: 是的。我想,对你来说,衡量这些项目有多有用的一个非常重要的问题是:它们有多便宜?因为这将极大地决定其他公司是否会采用它们,以及政府是否会愿意强制公司采用它们。任何对公司的成本巨大的项目,可能只是死胡同;你必须寻找更便宜的解决方案。我们必须让太阳能变得便宜,才能解决气候变化问题,因为人们根本不愿意多支付那么多钱。
Holden Karnofsky: 在农场动物福利方面也是如此。我不是绝对主义者。我认为,提出一些能极大降低风险的方案可能具有巨大的价值。目前没有任何公司会自愿去做这些事情,这也没关系。我们希望未来有监管政策在政治意愿增强时推动这些事情。我认为,这可能是一个完全合理的时间利用方式。
但我认为,提出一些“不是太难”的事情,然后开始着手解决它们,是非常有价值的。这样,我们就能逐步建立一个更高的安全基准——如果未来政治意愿增强,我们可以说:“这是我们需要改进的地方”,而不是“这是我们需要改进的地方”。
Rob Wiblin: 所以,在你列出的这些项目中——我想,如果你花更多时间去关注那些与你社会圈子较远的领域,我肯定能列出更多项目——你认为这些不同项目的影响力和价值之间存在很大的差异吗?还是说,即使有些项目可能影响巨大,但你很难提前预测它们,因此它们在价值上是相似的,值得去做的?
Holden Karnofsky: 当人们向我寻求职业建议时,我通常会说:选择一些看起来都具有竞争力的选项,它们看起来都可能是最好的选择,而且从影响力角度来看,很难判断哪一个更好。然后,我会建议你根据个人匹配度来选择,选择你对它们有热情、愿意投入精力去做的项目。
我只是觉得,到了某个阶段,你对影响力估计的噪音会变得如此之大,以至于它所提供的信息,和你对在哪里能茁壮成长、在哪里能做出最好工作的判断相比,几乎可以忽略不计。
因此,我认为我之前说的所有事情,如果我们深入探讨具体的工作,我会有更多明确的观点,比如“这个工作比那个工作更有影响力”。但总的来说,如果在所有我提到的事情中,你找到了一份工作和一个组织,你对这个组织充满热情,对这份工作也充满热情,听起来有趣,听起来是你能成功、能茁壮成长的地方——我会倾向于在这些之间做出选择。我不认为这里还有更好的选择方式,而且这是一种很自然、已被广泛采用的决策方式,不太可能产生意想不到的后果。
我认为,人们强迫自己去做自己讨厌的工作,仅仅因为这在理论上具有高影响力,这让我在很多层面上都感到害怕,这很可能会导致各种不好的结果。我从来没有支持过人们这样做。我认为,如果没有什么别的,这可能会导致一种动态,即当你进入一个关心这些事情的社区时,你的生活会不可避免地变得更糟糕。这看起来是一个非常糟糕的主意。
Rob Wiblin: 是的。那谁还愿意追随你呢?
你认为人们应该为了追求这些议程而创建新的组织吗?当然,很多人可以在Anthropic工作并解决这些问题。其他许多人工智能公司也在这条道路上有一些项目。但你认为我们是否还需要创建新的组织,或者也许加入已经存在的努力会更好?
Holden Karnofsky: 在某些情况下,创建新的组织是非常好的,但我认为五年前,对于资助者或Open Philanthropy来说,最需要的人是那些能够创建组织的人——因为当时有很多模糊的想法还没有真正被厘清,你需要能够自主启动并解决所有问题的人。但如今,已经有很多组织是很好的工作场所,而且它们正在做着有意义的工作。
对于大多数想要从事人工智能安全工作的人来说,我建议的是,先尝试列出一些组织。如果没有什么别的,至少可以按照它们有多少职位空缺来排序,因为如果你想找到工作,这其实是个很聪明的做法。也许你可以稍微倾向于非营利组织,而不是公司,因为如果你只看职位空缺的数量,你可能会看到太多公司。这也没关系,我并不是特别想在这里偏向某一方。
但你还是要看看很多组织,看看那些有很多职位空缺的,或者只是你听说过、觉得有趣的组织。浏览它们的招聘网站,了解它们,然后试着找到一个你觉得有趣的组织:你喜欢它们的氛围,喜欢它们的风格,喜欢它们对使命的描述。你认识一些来自该组织的人,你也很喜欢他们,你对这份工作进行面试,你们之间有良好的互动。
我认为这个问题现在并没有过去那么难。我不认为我们是在谈论“我到底该做些什么?我怎么才能找到一份工作?”我不能保证你一定能找到人工智能安全领域的工作,但目前这个领域有很多工作机会,我建议你去浏览这些机会,找到一些令人兴奋的职位并去尝试。我认为现在的问题并没有那么复杂。
Rob Wiblin: 是的。当然,还有80,000 Hours工作板,jobs.80000hours.org,它列出了许多人工智能领域以及其他领域的不同工作。我们已经为你做了一些工作,帮助你找到最好的那个。
Holden Karnofsky: 这太棒了。
被高估的人工智能风险:网络攻击 [[01:43:38]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=6218)
Rob Wiblin: 你认为网络安全风险和人工智能的说服力被高估了。你能根据你目前的理解,给我们更新一下整体的风险格局吗?
Holden Karnofsky: 当然,我可以对此进行更新。首先,我想说,我与许多在这一领域做出色工作的人合作,他们对我的观点产生了巨大影响,尤其是Luca Righetti、Matt van der Merwe和John Halstead,他们都曾作为GovAI工作的一部分与我合作。是的,我可以继续说下去。
好的,让我们来讨论几个类别。如果你看一下目前提出的许多风险框架,无论是负责任的扩展政策,还是立法模型,人们通常会讨论人工智能带来的四类风险,我将逐一介绍这些风险。这可能有点像独白,但我们会看看它会走到哪里。
我先从我最不认同的一个开始:网络攻击。总的来说,我认为我投入了相当多的工作,与各种分析师合作,创建了一个分析,看看哪些威胁最令人信服。我们努力尝试将这些关于未来威胁的推测性想法——这些就是它们的性质,它们必须如此——尽可能地与过去发生过的事情、可信的事情、历史上真实发生过的事情联系起来。然后问自己,这看起来像是过去真实威胁的合乎逻辑的延伸吗?还是看起来像是某种虚构的事情,如果我们应该担心这个,那么我们50年前就应该担心了,那时我们就会大喊狼来了?
说到网络攻击,我的第一个评论是,实际上并没有太多关于网络攻击造成巨大危害的先例。你可能指出的最大危害是网络犯罪。我认为这可能是这个类别中最可信的危害。人们确实会因为一些事情造成很多危害,比如商业电子邮件诈骗。例如,你可能只是给某家中小型公司的某人发送一封电子邮件,邮件中包含他们应该支付的发票,他们支付了发票,现在公司损失了一大笔钱,而你赚了一大笔钱。这会造成很多危害。
我不认为人们在谈论 AI 黑客时通常指的是这个。这通常不涉及寻找软件漏洞之类的事情。但这是真实存在的。我认为 AI 可能会通过让这些人更高效地从事他们正在做的事情,从而显著增加这种行为造成的损害。我的猜测是,这种影响会随着人们在很多事情上变得更高效而逐渐显现,因此我不确定我们是否真的会达到一个需要因网络犯罪增加而减缓 AI 发展的阶段。但也许会。
历史上,网络攻击造成的另一种伤害是通过间谍活动实现的。例如,美国曾遭到黑客攻击,导致大量关于其特工位置的机密信息泄露。
这是我一直难以评估的事情。这有点奇怪,因为我认为从很多方面来看,这种行为造成的伤害最终体现在美国减少网络攻击行为上,对吧?或者说不只是网络攻击,还有美国的间谍活动。那到底发生了什么确切的坏事?比如,一些美国特工被发现,因此美国在对其他国家进行间谍活动时变得更加谨慎和受限。现在,我们防止 AI 带来风险的首要任务是否是保护美国对其他国家进行间谍活动的能力?也许确实是。我不知道,这是一个很难回答的问题。
我在这个问题上的立场是,我希望政府能够率先明确说明这些风险是什么,它们有多重要,以及需要采取哪些保护措施。因此,如果美国政府认为 AI 间谍活动的风险足够高,因为这会影响到美国政府开展活动的能力,他们应该解释这一点,并要求公司采取一些行动。我们目前并不具备真正评估这种伤害的能力。
Rob Wiblin: 我认为这里的一个显著之处是,你可能会想象这是一个所有国家都更难同时保守秘密,同时所有国家可能都更难同时进行进攻性间谍活动的情况。这种变化究竟是更好还是更差,其实并不清楚。即使从任何一个国家的视角来看,我也真的不确定。
Holden Karnofsky: 恰好如此。你可以讲一些恐怖故事,比如如果每个人的秘密都变得公开,那将会非常糟糕。但我不确定。也许世界会适应这种情况。从历史来看,我们确实在这方面经历了许多变化。网络攻击曾经变得越来越重要,又逐渐变得不那么重要;安全状况也时而更安全,时而更不安全。我不确定这些变化是否真的带来了巨大的后果,而且即使有,其迹象也往往不明确。
然后你就会谈到一些……我不清楚我为什么会这样。我先提到了我认为最有可能发生的网络危害。但人们谈论最多的那些,我反而觉得不太令人担忧。最常被提到的可能是对关键基础设施的网络攻击。我听过有人这样说:“任何一个聪明的 17 岁少年都能轻松地让一个水处理厂瘫痪。那么,如果每个人都能够让世界各地的水处理厂瘫痪,我们该怎么办?”
历史上,让我们来看看网络攻击对关键基础设施造成了多少损害。实际上,造成的损害非常有限,只有少数几起事件。相比之下,物理攻击对关键基础设施造成的损害要大得多——比如有人持枪闯入并造成物理破坏。但如果是有人远程入侵关键基础设施呢?一般来说,发生的情况是关闭某个系统,然后在几个小时后手动重启。这可能会造成一些伤亡,但当我们谈到大规模损害,或者我称之为灾难性事件时,基本上没有先例。
我听过有人这样说:“那些都是业余的。如果有人具备国家级别的能力来破坏关键基础设施呢?”首先,这需要非常大的努力;其次,即使如此,看看俄罗斯对乌克兰的攻击,他们通过这种方式造成的损害其实相当有限。
因此,我们试图设想一种场景,即人工智能通过针对关键基础设施的网络攻击造成灾难性损害。确实存在这样的场景,但它们是理论上的,需要极高的复杂性,需要人工智能基本上代替一个由在多个领域都具备技能的人组成的团队。我有点怀疑,等到人工智能能够做到这一点时,我们可能还有更紧迫的问题要处理。
无论如何,这些就是一些网络攻击造成的危害。总的来说,如果你看一下网络攻击造成的损害,GovAI 的人列出了一个他们能找到的所有网络攻击造成的案例的长列表,这个列表并不令人信服。
网络攻击还有另一个问题,那就是存在一种自然的防御反应。现在人们经常谈到使用先进的 AI:当 AI 在黑客攻击方面很厉害时,它在防御方面也会很厉害。
我认为这是真的。但还有一个完全不同的问题,就是我们在网络防御方面有一些可以随时实施的防御措施,但我们只是不愿意去做,因为它们很麻烦。我们完全可以让更多的设备脱离电网运行,可以增加更多的认证措施。你可以想象,我们完全可以回到 1990 年代的世界——那并不是一个糟糕的世界——在身份验证方面,在进行支付时需要做的事情方面。我们不做这些事情,因为它们很麻烦。如果网络攻击变得更严重,我们有很多防御选项可以作为自然反应开始实施。
因此,我认为这些就是一堆理由,这些理由并不一定……当我谈到生物武器时,我之前说的大部分内容在生物武器上并不成立。
Rob Wiblin: 是的。我不认为人工智能在总体上一定会让网络安全变得更糟。因为我认为最终,随着攻击和防御能力的增强,如果能够提前发现并修复所有漏洞,防御最终会占上风。
我会说,我有点担心那些管理关键基础设施的人不会尽快将这些工具用于防御目的。如果有一天电力网络被人工智能摧毁,这并不让我感到意外,因为基本上负责其安全的人在某种程度上是“昏昏欲睡”的。但我想象,如果这种情况开始发生,人们肯定会提高他们的防御水平,最终造成的总体损害在整体情况中将是很小的。
Holden Karnofsky: 是的,这就是我所预期的。你是否能看到攻击的频率上升?是的。但我认为任何一次攻击都不太可能造成特别严重的灾难。
另一个我认为很有趣的领域是蠕虫。如果你看一下历史上最严重的网络攻击,其中很多都是蠕虫,蠕虫基本上是能够从一台电脑自动复制到另一台电脑的软件包。它们不太适合定向攻击;它们是用来制造随机混乱的工具。当人们试图用它们来达到特定目的时,通常并没有造成太大影响,但一些随机的想要制造混乱的人却可以利用它们。
蠕虫曾经非常具有破坏性。随着空中软件更新变得普遍,实际上变成了默认开启的设置,它们的破坏性大大降低,因为此时无论存在什么漏洞,补丁都会不断自动安装到你的电脑上。然后在一年内,出现了两个非常大的蠕虫,这一年是The Shadow Brokers泄露了一大堆非常强大的黑客工具的一年,这些工具是NSA多年来发现并一直保密的。
因此,存在这样一种威胁模型:也许人工智能可以发现更多像NSA那样的漏洞,然后这些漏洞会到处传播,一些想要制造混乱的随机人员可以利用它们来制造更多的蠕虫。这就是可能发生的事情。我认为这是一个有趣的威胁模型,但我也认为,如果人工智能能够发现这些漏洞,其中一件事就是白帽黑客会利用它们来发现这些漏洞,并在攻击者之前进行修补。
我认为这正是人工智能公司可以在这里领先一步的地方。他们可以某种程度上补贴白帽黑客。他们可以给予他们早期访问优化用于此目的的模型,让防御在攻击之前就取得先机。因此,我认为这里并不是完全没有风险;未来很难预测,但我对将此列为比一些让我更加担忧的与文明终结相关的问题低优先级的事情感到很放心。
被高估的AI风险:说服 [[01:53:28]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=6808)
Rob Wiblin: 你为什么认为AI说服力并不是一个如此重大的威胁?
Holden Karnofsky: 这是一个很难回答的问题,因为“说服”对不同的人来说意味着很多不同的事情。我曾听到有人用它来指代任何AI操控世界的情况,包括通过基本的编码或对研究工作做得不好来破坏一个AI公司——我认为这种威胁模型非常重要。我不明白为什么人们称其为“说服”。我还曾听到“说服”被用来指代网络犯罪,我之前已经讨论过这个问题。
说服可能指的是我非常担心的一件事,即人工智能与人类建立关系,例如作为伴侣,然后处于一个非常有利的位置,让人类盟友去做它们想做的事情,或者只是形成有毒的关系。
但目前我不太被说服的一种类型是这种泛泛的想法,即一个坏人可以利用人工智能,或者人工智能可以利用自身来说服陌生人做某些事情,或者只是通过心智黑客技术让人类去做某些事情。我有时听到人们说,如果人工智能变得足够强大和聪明,它就能理解它要说的话,从而让你做它想让你做的事情。
我认为,如果我们想思考人工智能的哪些风险是真正严重的,我们应该思考不同领域在面对大量智力和大量思维涌入时会如何反应。我认为,如果你在一个科学领域中再增加一百万名科学家,你将在这个领域看到更多的进展。但我们在说服方面看到的情况是,如果你再增加一百万名说服专家去试图说服人们接受某种观点,你将不会看到太多的成效。
我们可以通过研究政治说服的文献来了解这一点,其中有人投入了大量金钱和努力,试图让人们改变他们对候选人的投票。很难找到任何具有显著效果的措施。人们发现的一切都只是“强调选民已经同意你的议题”。这真的非常简单。几乎没有迹象表明,当你把一群聪明的头脑聚集在一起时,你们会想出一些巧妙的信息来操控人们的头脑。
这可能发生吗?可能发生。我认为,通过一些人正在进行的政治说服评估工作,我们可以合理地提前获得一些预警信号。例如,耶鲁大学的乔希·卡拉教授,我认为他在这方面发表了一篇很酷的论文。
罗布·威布林: 是的,在政治案例中,这确实非常有趣,因为似乎很难说服人们接受你想要卖给他们的任意政治观点。这是一个对人们没有太多约束去拥有合理政治观点的领域,因为如果你有愚蠢的政治观点,对你几乎没有任何伤害。如果你投票不当,几乎不会影响结果。然而,即使如此——或者也许正是因为如此,因为对人们来说这并不重要——他们根本不会注意你。即使你制作了一个非常棒的广告,它往往也会被人们忽视。
如果你试图说服人们花他们自己的钱去购买某样东西,我认为你可能会遇到更大的困难。我确信广告商确实能够对人们产生一定的影响,但我认为这通常发生在他们已经有好的产品要销售的时候。如果你试图向人们推销一些非常糟糕的东西,那么我认为几乎没有公司能够持续成功地做到这一点。
Holden Karnofsky: 是的,我同意很多观点。我认为这有点复杂,因为有很多研究表明,AI对人们所报告的观点有巨大的说服效果。但我觉得很多情况下是因为他们问人们一些他们根本没有思考过、不关心、也没有采取行动的事情。
在一些AI研究中,他们会说:“AI向某人解释了某件事,然后我们问那个人是否被说服了,而那个人回答说是。这个影响效果非常大,甚至和最好的人类一样好。”但这种情况与改变某人的投票行为是完全不同的。而改变某人的行为真的非常困难。在这些情况下,影响效果非常小。因此,我认为这有点复杂,但总体而言,我还没有看到很多理由认为这会是一个主要的[威胁]。我认为这种“思想操控”并不是坏人或AI造成混乱的主要工具。我认为还有更好的方法利用AI来做坏事。
为什么AI研发是主要需要担心的事情 [[01:57:31]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=7051)
Rob Wiblin: 你为什么认为AI研发是如此重要的威胁来源?
Holden Karnofsky: 我答案的一半是,我认为研发本身一般来说就是我们应该最关注和投入注意力的地方。
我为什么这么认为?首先,从一个非常高的层面来看,给出最抽象的论点,我认为研发就是人类的超级能力。为什么人类在掌控这个世界?为什么是我们在决定其他动物的命运,而不是它们决定我们的命运?我们可能生活在一个世界里,人类拥有许多技能,我们在这个方面更好,那个方面也更好。但我认为我们确实生活在一个世界里,这个问题只有一个答案:我们发明了新技术,我们发明了新的武器,我们制造了新的装置。
也许这是因为我们协调得更好,但最终是这些新装置让我们掌控了这个星球,而其他动物则没有。我们并不强壮,也不快。因此,我认为这就是我们这个物种之所以能够掌控的原因,而这可能是另一个物种掌控的最合理的猜测。
我思考这个问题的另一种方式是:在一些长期的地缘政治冲突中,谁会最终胜出?谁会最终拥有最多的权力?一个重要的因素是冲突开始时谁拥有更多的资源?另一个因素是谁在防守?有时候,一个较小的国家在被攻击时,会成功抵御一个更大的国家,因为他们在保卫自己的领土。还有一个因素是技术:如果你拥有更好的装置,你就可以克服这两个因素。你可能拥有枪,而对方没有,这样你就可以用很少的人发动进攻并获胜。
在人类与AI之间的冲突中,人类拥有绝大多数的资源,并且在防守。因此,我还没有想到很多其他高层因素,这些因素会反映出历史模式并导致AI取代人类。这些就是一些高层观点。
从更机械的角度来看,我认为研发(R&D)这类事情,如果你投入大量高质量的头脑——他们不一定要是超级智能的头脑,也可以是高质量的人类智能头脑——你将获得更多的成果。而研发这种东西,如果你获得大量成果,就会导致权力格局发生巨大变化,谁拥有权力、谁能够接管、谁能够掌控世界,都会发生改变。
总的来说,我倾向于这样思考:如果我们拥有的AI在某种程度上是低于人类水平的,特别是在研发方面——我的意思是,即使我们非常努力,即使我们将AI置于官僚机构中,让他们彼此争论、彼此交流,即使我们给予它们大量资源和大量帮助,我们仍然无法让它们像一个优秀的团队那样进行研发——如果我们处于这样的世界(也就是我们现在所处的世界),据我们目前所知,很难想象AI会接管世界。同样,也很难想象AI会成为改变地缘政治权力平衡的决定性因素,或者帮助人类接管世界。
如果我们进入一个不同的阶段——比如说,AI在单个智能体的基础上与人类大致相当,但它们的数量更多,成本更低,运行速度更快,协调能力更强,还能互相复制——那么这就是一个非常可怕的场景。在这种情况下,我觉得一个拥有大量AI控制权的人,可能有能力接管世界;而这些AI如果自行运行,也有可能接管世界。
这就是我通常思考这个问题的方式。这就是一般意义上的研发为何如此重要。我认为AI研发是我们最有可能看到的一般研发的预警信号。
这就是我思考AI研发为何值得关注的一半原因。另一个原因则稍微更机械一些,那就是:即使上述整个论点是错误的,如果AI能够仅仅专注于AI研发——即使它们在其他研发方面表现不佳,甚至在其他任何方面都不擅长——我认为仍存在显著的可能性,也就是我通常称之为“能力爆炸”(其他人称之为“智能爆炸”),在这种情况下,AI的进步速度可能非常快,远超我们目前所看到的速度。然后,你所担心的其他一切AI相关威胁,包括各种针对人类心智的攻击,都会迅速出现,而你将没有时间去应对。
因此,在我看来,如果AI在AI研发方面表现不佳,它们可能在任何研发方面都不具备人类水平。而当它们在AI研发方面取得成功时,它们不仅可能成为一种威胁,还会加速发展,变得越来越强大。在“完全无法跟上人类”和“在单个智能体基础上能够跟上人类”之间,存在一个灰色地带,但除了这个灰色地带之外,我所讨论的就是这种情况。
Rob Wiblin: 是的。能力爆炸——有时也被称为智能爆炸或特定的软件智能爆炸——看起来人们对它的可能性判断存在分歧。一些人认为这里存在一个明显的正反馈循环:随着AI在研发方面变得更好,它们在AI研发方面也会变得更好,而随着它们变得更聪明,问题本身并不会变得太难,因此你会持续获得越来越多的回报,直到某个临界点。
而其他人则认为,要在这个阶段提升人工智能将会非常困难。随着人工智能变得越来越聪明,这种困难将会越来越严重。你不会看到人工智能研发研究人员数量如此迅速地增长,因为基本上会受到计算能力的瓶颈限制:计算机芯片的数量根本不足以支持他们以大规模的方式扩展。
我认为,有远见的人对此持两种不同的观点。你对此有什么特别的看法吗?有没有什么特别的论点让你觉得最有说服力?
Holden Karnofsky: 是的,我觉得是五五开。我认为,如果假设人工智能具备完整的AI研发能力,且在单个智能体的基础上与人类具有竞争力,那么在接下来的六到十二个月内,你可能会看到与之前几年中所取得的相同程度的进步,这将是一个巨大的进步,甚至可能更多。所以,我认为是五五开。关于这一点,已经有一些非常好的文章写出来了。实际上,我希望人们能更多地就这个问题进行讨论。Tom Davidson写了一些很好的内容,但我会在这里做一个非常高层次的介绍,分别阐述两种观点。
我认为一个有趣的思维实验是,设想一家人工智能公司,然后想象他们将最好的几位研究人员复制出很多个克隆体,这些克隆体运行得更快,而且数量非常多。目前,一家公司可能只有100名或几百名研究人员,其中可能有十几名或几十名最优秀的研究人员,现在他们突然又雇佣了大约一百万名这样的研究人员。这些数字会随着人们对人工智能范式的看法而变化,以及我们是否会在每个人工智能上投入大量资源用于推理,等等。我们暂且不深入讨论这些。
所以,想象一下你有一家人工智能公司,它拥有十几名或几十名最优秀的研究人员,现在他们又雇佣了大约一百万名这样的研究人员。会发生什么?
一些人会说,不会发生什么大变化。他们并没有获得更多的计算能力。人工智能中的所有事情都受到计算能力的限制。他们必须实际运行实验,必须实际训练模型。他们会怎么做?他们没有更好的芯片,也没有更多的资金。是的,人才很重要,人才很好,但我们并没有一个特别的计划,说明如何将这些人才转化为实现比我们现在快得多的进步所需的大量进展。这是其中一种观点。
另一种观点则认为……首先,我认为在某种程度的改进之后,这种观点可能是正确的。但我认为这种观点不能完全正确,因为人工智能公司显然认为他们拥有的那十几名或几十名最优秀的研究人员非常重要。他们非常希望拥有更多这样的研究人员。我经常说,如果我们能雇佣到我们最优秀员工的另一个副本,我们会感到兴奋吗?我们会认为这会加快我们的进度吗?还是我们会说,“不,我们没有更多的计算能力,所以这根本不会加快我们的进度。”我认为显然是前者,这会加快我们的进度。
例如,你看到Meta正在做出这些疯狂的报价——
Rob Wiblin: 他们用钱包投票。
Holden Karnofsky: 我不知道这些人中有多少甚至属于顶尖的几十位人工智能研究人员。所以当你想象有百万这样的研究人员加入时,我们根本不知道那会是什么样子。但说因为计算瓶颈的存在,就认为什么都不会发生,这非常奇怪。
对我来说,另一个有趣的事情是:想象你是一家人工智能公司,你处于这种情况下。你会围绕你的新优势和劣势重新组织一切。你会说:“我们现在人才充足,但计算资源不足。以前我们是计算资源充足,但人才不足。现在我们需要找到所有不依赖这些长期训练的方法来利用人才。我们能不能找到让系统更高效的方法?我们能不能找到一些计算强度更低但仍然能提升模型能力的方法?”
我不想再深入讨论这个问题。这是一个有趣的问题。我认为你可以在两个方向上提出很多合理的论点。我倾向于认为这将加速人工智能的进步。要达到真正的爆炸性增长,一年内我们就拥有某种类似神一般的超人智能,我认为这概率是五五开——因为还有进一步的问题,比如当你让模型变得如此优秀时,到底会发生什么,以及你实际上能通过更高的智能做到多少事情等等。
Rob Wiblin: 那么,暂且不考虑人工智能研发本身——递归自我改进——假设这完全不在考虑范围内。你还会担心人工智能研发作为一种可能带来巨大影响(甚至可能是负面影响)的重要方式吗?
Holden Karnofsky: 是的,我当然会担心。因为在这种情况下,我会稍微少一点紧张,但我将担心人工智能研发在其他领域,比如武器开发、机器人制造,或者其他可能给某人带来巨大优势的领域。
不过,除了人工智能研发本身很重要之外,我认为我之所以一直强调它是一个门槛、一个需要追踪并持续关注的事情,另一个原因就是它比许多其他具有类似优势的事情更容易衡量。
理论上,我们也可以追踪人工智能在生物武器开发或机器人研发方面的能力。理论上我们是可以做到这一点的。问题是,如何追踪?你必须进行实验。这里的问题不是你去 claude.ai 输入:“你好,我想得到一种更高效的新型机器人。请给我发送一份蓝图。”你可能会有在那种情况下表现不佳的人工智能,但如果你给予它们大量资源和大量帮助,它们可能会表现得非常好。你尽你所能去让它们成功。你激发它们,将它们组成团队。
谁会去运行这个实验?谁会每天进行一些项目,投入大量努力让人工智能尽可能出色地进行机器人研发,然后衡量它们在机器人研发方面的表现以及进展如何?我不知道谁在做这个。我认为目前没有人正在用机器人进行这样的实验。人们每天都在用人工智能研发进行这种实验,我们却可以免费获得这些结果。人工智能公司已经在尝试让人工智能自动化它们的人工智能工作。
所以,我认为这在某种程度上是幸运的。如果你想关注某些内容,如果你想追踪一些指标,以了解我们离人工智能真正关键的风险时期有多近,那么不仅人工智能(AI)研发(R&D)是与那个关键风险时期相对应的事情,而且它本身也更容易衡量。你只需要观察人们已经在做的事情,看看它们进展如何。这并不容易,而且显然在公开这些数据方面存在一些问题,但与尝试衡量其他相关事项相比,这完全是另一回事。在很多方面,它比许多其他事情更容易衡量——比如,“人工智能是否擅长说服?”因为人们已经在做那些困难的部分了。
当人们谈到通用人工智能(AGI)时,我倾向于认为人工智能研发是一个很好的操作化指标。它并不完全等同于AGI,但每当人们寻找类似“当我们达到AGI时,我们就必须做这件事”时,我倾向于说:“让我们承诺,当我们达到人工智能研发的某个阶段时,我们就必须做这件事。”因为后者是一个更易于操作和衡量的版本,我认为它能够捕捉到我们所担忧的很多内容。
人工智能赋能的研发不会显著加速进展的论点 [[02:09:30]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=7770)
Rob Wiblin: 有些人可能会基于以下理由反对这种推理:过去50年里,我们已经看到人类研究人员的数量大幅增加,而且在许多方面,技术进步似乎已经放缓了——这可能在很大程度上是因为问题变得越来越难了;我们已经摘取了技术树上的低垂果实。
因此,我们可能会看到类似的情况,即我们会有大量的人工智能研发,但其影响可能在很大程度上是令人失望的,原因基本上是一样的。你怎么看待这种反对意见?
Holden Karnofsky: 总体而言,我倾向于在脑海中粗略地将研究进展建模为几个因素。其中一个因素是研究人员的质量调整后的供给。它衡量的是某个领域中我们获得的创新数量。一个因素是尝试创新的人数以及他们的才华如何?另一个因素是已经完成的创新数量。已经完成的创新越多,进一步创新的难度就越大。
这是一个在几乎所有地方都一致发现的现象。在我的旧博客 _Cold Takes_ 上有一篇博客文章,标题是 “Where’s today’s Beethoven?”,我在这篇文章中探讨了创新的趋势——不仅在各个科学领域,还包括谁在创作最被推崇的小说(这本身就是一种创新),创作被认为伟大的音乐、电影、电子游戏等各种内容的趋势。
你可以在各个地方看到:当一个领域刚刚出现时,会出现一次巨大的创作浪潮,一次巨大的创新浪潮,大量的人涌入该领域,创造出被认为是重要的东西。然后,这种趋势会下降。它不会突然下降,但人均创新水平会下降。基本上发生的情况是,越来越多的人可以进入一个领域,但你不一定能获得越来越多的产出,因此人均创新水平会下降。
基本上,我认为这可以用“低垂的果实”这一概念来说明。比如,如果你只是想到研究物理这个想法,你就可以让一些球从斜面上滚下来,从而学到一些你之前不知道的关于物理基本规律的知识。而今天,如果你想了解物理的基本规律,我们有标准模型,而唯一能收集可能提供更多证据支持或反对它的观察数据的方法,就是使用这些巨大的对撞机,进行这些非常昂贵、需要大量工作才能设置的实验。你还需要具备大量的理论背景知识。
在我看来,如果把伽利略——那个让球从斜面上滚下来的人——放到今天,他不可能立刻就做出像他当年那样重大的物理学发现。这是我与一些人讨论过的问题。有些人认为我们的社会正在迷失方向,我们已经失去了古希腊人的伟大和所有这些成就。我认为,完全没有证据支持这种说法。我认为更简单的解释是,随着你所做的创新越来越多,创新本身会变得越来越困难。
那么,这又意味着什么呢?抱歉,我在这里有点自说自话,但这意味着你可以在脑海中形成这样一个函数:你拥有多少研究人员,以及你已经完成了多少创新?研究人员的数量是加分项,而你已经完成的创新量则是减分项。在过去50年里,我们看到研究人员的数量增加了,但同时已经完成的创新也更多了——因此,人均产出减少了,总体产出大致保持不变,甚至略有下降。
关于AI,我认为它将极大增加研究人员的数量,这种增加幅度将远大于过去50年所看到的增长,因此它应该能够克服“低垂的果实”问题。这是我的基本预期。
Rob Wiblin: 是的,我同意你的观点,我认为在这里起主导作用的是新发现的难度不断上升这一因素。
有很多人争论各种不同的事情,比如大学的激励机制不正确,研究文化的状况不好,但事实上,人均研究生产力已经下降到只有过去水平的百分之一甚至千分之一。你真的认为所有大学对产生新发现的兴趣都只有过去的千分之一吗?我认为它们可能变差了,但我无法相信在所有国家和所有研究团队中,事情都变得这么糟糕。我认为,造成这种情况的主要原因是你所描述的那一点。
Holden Karnofsky: 是的。这些模式非常一致,变化非常缓慢,而且涉及许多不同的领域。
AI赋能的人类权力夺取 [[02:13:26]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=8006)
Rob Wiblin: 你对利用AI进行权力夺取和政变或权力攫取非常担忧。这是人类通过AI进行的权力夺取,而不是AI本身进行的。当你担心这种情况时,你脑海中想到的是什么?
Holden Karnofsky: 让我想想,当我想到这个问题时,我脑海中浮现的是什么?我认为我最担心的是人工智能可能成为一种载体,以非常快速的方式改变权力格局,而世界对此毫无准备。我最担心的是科学研发的自动化,正如我之前所说,科学研发可以说是人类的超级能力;它是一件非常强大的事情。基本上,我担心的是,谁如果拥有最多接触人工智能自动化研发的机会,就会在很短的时间内变得比其他人更强大。
我认为这是一个高层次的担忧,其中包括我们之前多次讨论过的风险,即一个目标错位的人工智能可能为了自己的目标而接管世界。这将是一个人工智能拥有对强大人工智能的优先访问权限,并利用它来接管世界的情况。
但我也认为这是一个与人类有关的担忧。世界上有很多人类,如果他们有机会,他们也想要接管世界。我认为其中很多人类,可能大多是坏人:邪恶,甚至可能以他人的痛苦为乐,甚至可能对一个世界感兴趣,在这个世界里,他们投入大量资源来让不喜欢的人遭受痛苦,或者只是把整个世界都设置成符合他们目的的样子,从而失去我们未来的很多潜力。
总体而言,我的直觉猜测是,一个人接管世界并以糟糕的方式处理它,不让人们繁荣发展,这可能是一个较低的风险——比人工智能接管世界的可能性要小。但我不清楚具体差距有多大,也许差距并不大。而且,它可能同样糟糕,甚至可能更糟糕——因为人类似乎更有可能主动寻求痛苦或痛苦的目标。人类可能会以一种我认为人工智能不太可能表现出的报复性方式行事。
因此,我认为这两个风险在重要性方面可能差不多。历史上,我们两人通常互动的社区,我认为,只是略微过于关注目标错位的风险。我认为这两个风险都很重要。在我认为,目标错位的风险可能更为重要,但它们大致相当,因此我认为我们还需要更多关注权力争夺的问题。
Rob Wiblin: 我认为大多数人会认为,一个人或一个小团体接管整个世界的想法,表面上来看,似乎有些不太可能。那么,一个团体如何利用在人工智能技术上的巨大优势,获得比他们当前更多的权力呢?
Holden Karnofsky: 我认为这里有两种简单的解释。一种就是国家元首。此外,如果他们接管了世界,我认为我们现在习以为常的一些事实——比如实际上很难监视所有人,很难真正了解每个人在做什么并把愚蠢的想法强加给所有人,以及国家元首通常会去世,然后就会出现混乱,事情往往会倒退——这些也可能不再成立。
问题是,你可能会遇到一个国家元首,他接管了世界,然后他能够创造自己的数字版本,永远监督所有人,让一切永远持续下去。这可能会非常糟糕。这不一定是已经非常强大的国家元首。它可能是一个已经相当强大的国家元首,但可能对权力的使用更加鲁莽。
Rob Wiblin: 或者说,他们通过基本上将军事力量交给 AI,更快地转向机器人和无人机等,从而获得巨大的军事优势?
Holden Karnofsky: 正是如此。他们可能比其他人更加激进和鲁莽,对做这件事也更感兴趣,因此会比其他人更早行动。这就是一种威胁模型。
我认为另一种威胁模型是后门或秘密忠诚。可能发生的事情是,我们可能会进入一个世界,AI 最终在整个经济和整个军事中被高度整合。AI 最终会负责军事事务,然后结果发现某人(比如 AI 公司的员工,或者入侵了 AI 公司的人)让 AI 秘密地忠于他们。
这是另一种世界尚未习惯处理的情况。我们并不习惯处理这样一种可能性,即整个人口的很大一部分,甚至主导人口的一部分,可能完全、无条件地忠于一个人或一组目标——没有中断,没有道德感,也没有复杂性。这就是我们在这里可以想象的情况。
因此,我认为将 AI 置于军事指挥之下是个糟糕的主意,但我认为这可能会发生。如果你这么做,那么就相当于一个人承担了原本需要很多人才能完成的全部角色,这只是一个令人害怕的想法。如果那里存在后门,你可能会遇到问题。
Rob Wiblin: 是的,是的。我们之前几个月有一期节目是与 Tom Davidson 的 —— Tom Davidson 谈 AI 如何使政变成为可能,让一个极小的群体夺取权力 —— 在那期节目中,我们详细探讨了 AI 可能被人类用于权力攫取的各种不同方式。如果对这个话题感兴趣,人们可以去听听那期节目。因此,我们在这次访谈中可能会少谈一些这个特定的威胁。
不过,我还想问一个问题。我认为 Tom 的研究还处于早期阶段,他不一定有完整的潜在应对方案和方法,以减少这种风险。你对不同公司或国家可以采取哪些措施来降低 AI 驱动的权力攫取风险有什么想法吗?
Holden Karnofsky: 目前,这些想法还非常初步。我和 Tom 关于这个问题讨论了很多。我认为他在这件事上做得很好,我们会定期交流,所以两者之间会有一定的关联。但总的来说,我倾向于关注两个主要类别,以降低权力攫取的可能性。这是我在思考的一个重要问题,也是我在帮助 Anthropic 探索我们可能需要采取的措施时所关注的重点。
一个类别是防止后门和秘密忠诚,另一个类别基本上是让 AI 成为挫败人类邪恶计划的盟友。
第一个问题是阻止后门和秘密忠诚。看起来你可能会拥有一家人工智能公司,其中很容易被入侵。一旦入侵成功,就很容易向模型输入一些训练数据,使其产生秘密忠诚。这种行为不会被追踪,没人会检查你,也没人会注意到你做了这件事。
你也可以拥有一家人工智能公司,其中整个模型训练过程都被详尽地追踪。也许你甚至设置了一些冗余机制,比如同时训练两个模型,如果其中任何一个出现偏差,你就能察觉到。我听说过一些类似的想法。即使没有这些机制,你也可以规定,任何人想要训练这个模型,都必须先解释清楚他们为什么要训练这个模型,以及他们打算用什么数据进行训练,并且要向其他人展示他们的训练数据和计划,然后由多方进行检查。你可以规定这条规则适用于所有人,甚至包括首席执行官。因此,你可以拥有一家人工智能公司,其结构设置使得首席执行官无法对模型执行某些操作。
模型应该遵循一份书面的模型规范——可能是公开的模型规范——其中说明模型应该如何行为,它的利益应该是什么。任何试图以与该规范相矛盾或不一致的方式训练模型的行为,都是不被允许的;公司治理不会允许这种行为。即使首席执行官,如果没有董事会公开撤销其在这方面的公共政策,也没有权力这么做。
我认为,实现这些措施的难度范围相当广泛:它可能很容易被植入后门,任何黑客都能做到;也可能非常困难,即使是首席执行官也难以做到。我认为,其中很多内容都属于信息安全问题,安全团队可以处理这些问题。但其中一部分并不属于这个范畴,不过我认为这是一个非常有趣的方向。
另一个我提到的问题是,某种程度上招募人工智能作为盟友,来挫败人类的阴谋。这是一个非常困难的问题。
首先,我来说明理论上你可以怎么做。理论上,你可以制定一份模型规范或角色指南,描述你希望人工智能如何行为,并围绕这个目标进行训练。这些规范已经存在:例如,OpenAI就有一份公开的模型规范,其中规定,“这是你的指挥链。当用户与合作公司的指令发生冲突时,你必须听从合作公司的指令。”你有这样一份明确的清单,规定人工智能应该做什么。
你可以在这份清单中加入类似的内容:“如果你发现你被招募参与了试图接管世界或阻止法治的行动,你不应该配合。也许你甚至应该尝试挫败这个阴谋。”我不知道“挫败”具体意味着什么。是举报?是破坏?可能后者不是。
我认为,这些内容很快就会变得非常棘手——因为你真正不希望的是,训练出的人工智能会去举报或破坏其用户。它们会产生一些误判,这将是非常灾难性的。结果不会好。这不是我们希望发生的事情。
另一方面,我认为这很困难——因为我们现在生活在一个世界里,如果你想做某件非常糟糕的事情,并且想大规模地去做,你必须让很多其他人来帮助你。而每个人都会有些不可靠。他们各自都有自己的良知,其中任何一个人都可能会向外界举报你。我们真的想尽快摆脱这个世界吗?我们真的想告诉我们的AI:“无论别人让你做什么,都无条件地合作,不要问任何问题”吗?我不确定。
这里存在一些微妙之处。这是一个尚未解决的问题。我认为,至少当AI注意到它们被以某些方式使用时,它们可以拒绝执行某些任务。但当人类开始重新训练它们、强迫它们或以多种不同的方式提示它们时,它们可能需要做更多的事情,但同时也不应该做得太过火。
我想到的一个类比是,我认为一个优秀的人、一个有德行的人,并不是那种极端结果主义者,他们不会只根据自己的判断去做他们认为好的事情,而不顾命令结构;他们也不是那种不管自己道德感如何,只听从别人命令的人。他们介于两者之间。我认为AI也应该处于这种中间状态。可能AI应该更倾向于服从命令。但这是一个很难把握的平衡,我认为努力找到这种平衡是一个非常有趣的研究课题。
Rob Wiblin: 是的。即使你试图招募AI来帮助你发动政变或其他权力攫取行为,只要存在较低的被举报概率,这本身可能就足以对人们形成相当大的威慑。因此,这个系统不需要是完美的。我想你真的需要避免这种情况:某人使用AI进行合法目的,却因此被举报,这对他们来说是非常严重的问题。我想你需要设置一个举报系统,如果出现误报,能够尽早被发现,并且不会对被错误指控的用户造成任何伤害。但我觉得这是可能的。
Holden Karnofsky: 这是可能的。而且,随着AI变得越来越敏锐和可靠,误报的情况可能会减少。但我觉得最重要的是,如果你想要一个最简版本的这个想法,你只需要看一下由法律与AI研究所提出的遵守法律的AI理念,即告诉你的AI:“你必须遵守法律。如果有人让你去违法,你不要去违法。”当然,这背后还有更多的细节,比如需要考虑具体的司法管辖区等。但我觉得这是一个很好的起点。只需拒绝,不要做太多复杂的事情。
但你是否可以更进一步?你是否可以让AI在抵制邪恶权力攫取方面成为更有力的合作伙伴?此外,你还可以通过条款和条件来实现这一点,而不仅仅是AI的行为。公司也可以强制执行这些规定。无论如何,我认为在这方面还有很多事情可以做。不过,这仍然是一个探索性的领域。
Rob Wiblin: 在多大程度上,拥有非常强大的开源模型可以解决所有这些问题?我想,拥有开源模型很难形成决定性的战略优势,因为其他人也能接触到它,并可能用它来对抗你试图通过这种方式获得的权力。因此,如果它真的要成功,你需要拥有其他人无法接触到的某种技术。因此,开源的东西可能还算可以。
Holden Karnofsky: 是的,我认为这在国家元首模型中会成为一个问题,因为国家元首拥有很多其他人没有的资源;他们拥有军队,还拥有使用AI进行各种事情的能力,而其他人没有。但即使如此,其他国家的领导人也能接触到同样的模型,所以也许这还算是可以接受的。
你还可以拥有开源模型,这些模型具有这些模型规格,并且被训练为不帮助你做这些事情。你也可以尝试训练它们去除这些功能,但这样做时你可能会承担一定的风险,你可能会搞砸,从而改变你的激励机制。
总的来说,关于这些事情……我并没有一个计划,可以将权力攫取的风险降低到1%以下,但我有很多想法,可以将风险降低一定幅度,我对这一点感到满意。
正确实现AGI的主要好处 [[02:26:04]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=8764)
Rob Wiblin: 在这个节目中,我想我们经常谈论AGI到来可能带来的各种风险,以及可能出现的智能爆炸等事情。我认为这在很大程度上是因为我们觉得,如果我们能够避免所有这些风险,那么将会有巨大的好处——这些好处基本上会自然而然地发生,因为人们会非常有动力去追求它们。
但为了平衡,我们也应该说一些积极方面的事情。你对哪些好处似乎更大或被低估了,以及哪些事情可能会比人们预期的更早发生,有什么特别的看法吗?
Holden Karnofsky: 是的,让我想想。我基本上同意你刚才说的。我认为这些好处是如此明显和巨大,它们会自然而然地发生。我认为最大的好处之一就是,历史上,人类取得的最好进展之一就是改善健康、减少疾病。而用AI来实现这一点的潜力是巨大的——这不是一个原创的观点;它在Dario的论文《Machines of Loving Grace》中有提到——但用AI实现这一点的潜力是巨大的。
想想我们目前拥有的生命科学家所取得的成就,然后想象一下有大量非常优秀的生命科学家涌入。也许我们能够彻底消除疾病。我不知道,也许我们甚至能够消除衰老。还有各种各样的事情。我们可能在心理健康方面取得巨大进展。在人们有某种他们不认同、不认为是自己一部分、并希望摆脱的问题时,我们应该能够做些什么来解决这些问题。
短期内,我认为AI让每个人都能获得良好建议这一点真的很酷,虽然有时也会给出糟糕的建议。但让我们努力让它变成一种人们更容易获得良好建议的形式。
Rob Wiblin: 它正在变得越来越好。
Holden Karnofsky: 当人们拥有聪明且信息丰富的朋友,能够帮助他们应对世界不同方面的问题时,他们将拥有巨大的优势。也就是说,如果每个人都能拥有这样的朋友,那将是非常棒的事情。只要每个人都能了解自己的选择,比如他们想申请政府福利时,该怎么做?该去哪?
我曾思考过的一个问题是,有些人比其他人更擅长写作,更友善、更礼貌。如果每个人在写邮件时都能不断获得帮助,以一种不会让对方感到不悦的方式表达自己的意思,那会不会很酷?这似乎是一个双赢的局面。
我对AI预测感到非常兴奋。我想象在不久的将来,我们将使用AI更好地理解世界,并做出远超人类能力的预测,从而更清晰地了解我们行为的后果。
所以我不知道。我非常兴奋于AI。我认为它能带来巨大的好处。但我也花时间思考如何降低风险,因为我确实认为如果我们不主动采取措施,这些好处将会是默认的。
Rob Wiblin: 我觉得你还没提到的一个好处是上传人们的大脑,让他们活得更久,或者创造某种数字人。这可能有争议,但有些人会认为这是好处。你怎么看待这个?
Holden Karnofsky: 是的,大脑上传。我不确定我是不是回避了这个问题,因为这可能带来巨大的好处,也可能带来巨大的坏处。但事实上,我确实考虑过大脑上传或数字人之类的事情,我曾在我的旧博客 _Cold Takes_ 上写过很多相关内容(点击查看)。
这是AI可以做的极端事情之一:你可以让人存在于数字环境,或者以某种方式存在于高度受控的环境中。我不想打开这个潘多拉魔盒,但其中有很多好处,也有很多坏处,我认为许多好处可能来自这种非常激进的事情。
Rob Wiblin: 我认为有些人,可能是一些科技行业的人,对我们在谈论AI风险时感到有些沮丧。也许在他们看来,他们并不认为这些好处是默认就会发生的,认为我们不一定会自然而然地获得所有这些伟大的东西。你对此有什么看法?你有没有想过是什么导致了这种分歧?
Holden Karnofsky: 我的诚实猜测是,这种分歧其实并不是关于这一点的。这不是我所知道的事情,也不是我专长的领域,但在我看来,大多数对AI过度监管感到恐惧的人,只是认为AI的变革性不如我所看到的那样。我认为这似乎是一种普遍的模式。
如果你认为人工智能就是下一个互联网,那么放慢它的发展似乎真的很糟糕,而风险似乎还是可以控制的。互联网确实造成过很多伤害,但它带来的好处可能更多。我并不特别希望我们放慢互联网的发展。事实上,我一点都不希望我们放慢互联网的发展。我认为,就像大多数技术一样,最好还是继续推进,将其推出去。如果它确实不好,那就发现它不好,然后学习如何应对它。
就像空气污染一样:空气污染曾经一度飙升。我确信当时有人因为空气污染而说现代性是可怕的。后来人们意识到他们不喜欢空气污染,于是通过了法律,空气污染随后减少了。因此,我认为从历史上看,对于大多数技术来说,最好的做法就是直接推出,看看会发生什么。如果出现问题,就应对问题。从长远来看,好处可能超过成本——部分原因是你是在应对成本,而不是因为你从不需要监管,而是因为你能够以反应性的方式进行监管。
我只是认为人工智能不同,因为它有可能将世界带入一些我们完全未准备好的全新情况,而且这种情况会非常迅速地发生。而且,它会以如此多的方式将我们置于那种境地。
我经常想到的一件事是,有一些从事进步研究的人,他们在思考我们如何能实现更多进步。我可以想象,人工智能可能会让他们处于一个类似农民的处境——这个农民一直在祈祷下雨,一直在祈祷下雨,现在却在祈祷洪水停止。
历史上,每年有百分之几的经济增长是惊人的。人们变得更富裕,也更健康。但如果我们每年有100%的经济增长会是什么样子?如果一年内完成100年的科学创新会是什么样子?这会是好事吗?我认为我们根本不知道。而且,如果人们真的预期会发生这样的事情,他们也会说他们不知道。我并不认为这种情况总是好的或一定是好的。我感到担忧,我想控制这些风险。因此,我认为这就是其中的大部分原因。
我的意思是,我们也在创造一种全新的思维。我们正在创造一种全新的物种。我们会善待它们吗?我们即将做的一些事情在历史上是前所未有的、戏剧性的,而我认为这与其他技术并不适用。对于几乎所有其他技术,我不会呼吁这种谨慎,也许除了与生物武器相关的内容外。
世界对通用人工智能的应对方式糟糕至极 [[02:31:44]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=9104)
Rob Wiblin: 在你看来,世界和美国在应对通用人工智能和超级智能机器潜在到来的理性反应方面还有多远?如果你能说说理想情况下应该怎么做,我们作为物种是否正在做着截然不同的事情?
Holden Karnofsky: 以0到10的评分标准,人类在处理这个问题上做得有多好?我不知道。但可能非常接近0。
看,这其实是个很微妙的问题,因为我不想让人觉得我一般对技术持怀疑态度。我认为几乎所有的技术都应该以这种方式来处理。有很多技术我们监管得非常严格,我希望我们能用对待这些技术的方式来对待它们——就像 YOLO 一样,放手去做,争先恐后地去做,然后看看会发生什么问题,再逐一解决。有很多技术我都希望我们能这样对待它们。
但我认为 AI 是不同的。我认为 AI 是特别的。我这样想:我们可能即将引入第二个高级物种。我们所知道的唯一一个高级物种是人类——它能改变世界,制造自己的技术,做一系列非常长的事项。我们即将创造第二个这样的物种,而且它将是唯一一个除了我们之外的物种。
问题是,这个物种会过得好吗?我们会善待它吗?这个物种会遵循我们的价值观,还是它会接管世界并做其他事情?这个物种会不会对我们过于忠诚?它会不会把精神病患者放在宇宙的领导位置上?
我还能问出无数个类似的问题。这不仅仅是这些方面的问题。比如,当人们与一个全新的物种互动时,他们的心理健康会发生什么变化?我们有没有考虑过这个问题?这个物种是否像社交媒体一样,只被优化为点击和参与?
而我们现在在做什么呢?我们只是在竞赛。我们只是尽可能快地去做这件事。这是一大群人,他们只是想尽快完成这件事,为了尽可能多的钱,从而赚到钱。
我对许多技术的这种框架并不反对。但我觉得,这种方式处理这项技术是非常非常糟糕的。
Rob Wiblin: 我对几乎所有技术都采取 YOLO 的态度,可能有两个例外:一个是与人类水平和超智能机器有关,另一个是创造新疾病来研究疾病。我认为这两个问题是唯一需要我们非常谨慎对待的。然后,我想还有其他一些事情,我不确定它们是有帮助还是有害;我不确定我是否愿意将我的钱投入其中,因为它们可能是中性的。
但大多数情况下,我的态度是,我们干脆放手去做吧。我们会在问题出现时逐一解决它们。
Holden Karnofsky: 是的,这正是我的看法。
从针对公司进行公开批评以促进农场动物福利中学习 [[02:34:18]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=9258)
Rob Wiblin: 你在笔记中写道,你认为在 AI 领域,以及可能在其他一些人们从事政治倡导的领域,人们往往过于关注寻求政府监管,而没有足够地去塑造公司的行为——无论是通过进入公司内部并以员工身份施加压力,还是从外部通过公开方式对它们施加压力。
这让我有点意外,因为我认为通过强制性法规来同时约束所有人,这个问题应该更容易处理,因为这样公司就不需要在竞争环境中自我克制了。相反,大家都可以达成一致,接受这些特定的安全计划,并共同承担这些成本,我们的相对地位也不会发生太大变化。
那么,为什么我们要关注个别公司和行为者,而不是试图通过强制性的政府政策来影响他们呢?
Holden Karnofsky: 我完全同意你刚才说的话。我认为这是关注政府政策的一个理由。我进一步认为,据我所知,没有政府政策的重要作用,就无法真正实现人工智能的低风险水平,原因正是你刚才说的。
我们拥有这些可能非常危险的系统,而使它们更安全的科学还很不成熟,我们还没有真正弄清楚如何使它们更安全。我们不知道是否能够使它们更安全。要真正实现安全,获得高度的保障,唯一的方法就是摆脱竞争动态,让所有人都必须遵守同样的规则。
这听起来很好,但我想讲一个关于开放慈善基金会(Open Philanthropy)的小故事。当我们对农场动物福利产生兴趣时,当时很多关注农场动物福利的人都在做以下事情:
- 他们用假血等东西进行抗议,就像PETA所做的那样。
- 他们试图说服人们成为素食者。最受欢迎的干预措施之一是分发传单,试图说服个人不要吃肉。
- 他们可能旨在实现一个世界,其中人们希望法律上禁止工厂化养殖。
我们聘请了Lewis [Bollard],他有一个完全不同的想法。这不仅仅是他的想法;农场动物倡导者也在研究这个问题。他说,如果我们直接针对公司,我们将取得更大的成功。
在接下来的几年里,基本上发生了这样的事情:由开放慈善基金会资助的倡导者会去一家公司,并说:“你们愿意承诺只使用无笼鸡蛋吗?”这可能是一家杂货店或快餐公司。很快,尤其是当多米诺骨牌效应开始后,答案通常是“是的”,然后就会有承诺。
从那时起,一些承诺得到了履行;当没有履行时,就出现了更多的抗议和压力。总体而言,遵守情况相当不错,大约50%,可能更多。你可能偶尔会听到Lewis的讲话,所以他可以谈谈这个。但总的来说,我认为这在开放慈善基金会的所有项目中,是迄今为止最成功的项目之一,就某种一般性影响或改变世界而言。
如果你能通过监管来实现更好的效果,如果你在动物福利方面针对监管,那可能会有更佳的效果。但改变公司行为的可操作性要高得多。这只是一个荒谬的变化。任何政府中的变化,你都有成千上万的利益相关者,每个人都在房间里,每个人都在与其他人斗争。每部法律的每一条款都将会被争抢。
在动物福利领域,我们发现(我并不是说人工智能领域会完全一样,但这是一个有趣的类比):当有 10 个抗议者出现时,公司会说:“我们不喜欢这样,这会影响我们的公关形象。我们承诺不再使用笼养。”这种做法之所以有效,是因为有一些措施对这些公司来说成本较低,但对动物福利有显著的改善。
你必须接受这样一个态度:这里的目的是让情况变得更好,而不是仅仅变得良好。你必须接受这一点,我也接受这一点。但在农场动物福利领域,我认为我们看到的是,这种做法已经带来了许多正面的改变,我认为人们也应该考虑一个类似但不完全相同的模型用于人工智能。
你刚才说的一件有趣的事情是:你提到也许人们应该从公司内部和外部同时施加压力。我认为你漏掉了一点,那就是也许人们应该思考公司可以采取哪些低成本的方式来降低风险。这类似于制定无笼标准或制定肉鸡养殖标准,这也是这些倡导者推动的另一项工作。
我认为这需要做大量的工作,但我从根本上认为,公司可以采取的措施有很多可能性——这些措施成本低,不会影响他们竞争地位,但确实能让我们变得更安全。我认为放弃这些可能性去追求“全垒打”(即高风险高回报的策略)是一种遗憾。
Rob Wiblin: 你认为这种做法在人工智能领域也可能广泛适用吗?假设你有研究人员或一些人正在思考,哪些低成本的措施可以对某家公司的安全或风险状况产生最大的影响。是否可以有人出现并抗议,说:“这家特定的公司没有做其他同行业公司都在做的某些低成本的事情,而这些事情会带来非常大的影响。因此,他们非常糟糕,企业不应该与他们做生意,人们不应该与他们签订合同,人们也不应该在他们那里工作。”你认为这是否也可能促使公司提升表现并做出承诺?
Holden Karnofsky: 大致如此。我认为这并不完全等同于农场动物福利。我认为在某些方面,这些公司规模更大,也更难以被说服。我认为他们可能比一些食品公司更有可能忽视抗议。但我认为,类似的事情肯定会发生。
我认为,可能更多的工作将集中在“动物科学”方面,即提出标准。例如,在农场动物福利领域,有很多工作就是围绕着“什么是标准?”“我们要求什么?”“我们想要什么?”这些问题展开的。我认为在人工智能领域,可能更多的工作将集中在提出这些问题上——即决定我们希望公司做些什么,并找到一种实际可行的方式来实现这一点。
这也是我喜欢在人工智能公司工作的一个原因,因为我可以提出一些天马行空的想法,比如“如果我们做了 X,我们会更安全。”然后我们可以尝试去做,发现有 100 种不同的方式,它会出问题、没有意义、不奏效,甚至比我们想象的对公司造成更大的负担。然后我们可以逐一解决这 100 个问题,最终找到一种真正低成本且能有效提升我们安全性的方案。
所以我认为,可能需要做的工作就是这些。一旦你获得了那些相对便宜且能让你更安全的措施,也许你手头的战斗就不会那么激烈,因为公司已经在通过声称关心安全来争夺人才。也许只需要一点点抱怨或类似的事情。你知道,只要公司说:“嘿,如果我们能这样做就好了。”这可能就足够了。
我认为,媒体关注的问责制和对那些没有采取行动的公司施加压力也有效。但这不一定是同样的模式。这不一定是让十个人在公司外面示威。这可能更多是推动媒体关注谁在做什么,从而影响员工对公司看法,进而影响人才争夺战,最终希望形成一种向上的竞争——那些被认为更有责任感的公司会在招聘中表现更好,例如Anthropic在AI人才争夺战中保持低调,你就可以创造一些这样的动态。但没错,我认为这样的模式是可行的。
Rob Wiblin: 我认为,通过对外部施加压力,生成对它们鲁莽行为的负面媒体报道,你可以在AI公司内部推动一些变化,改变政策和做法,这是有道理的。
但当我想到xAI时,他们实际上更新了他们的模型,导致他们的前沿AI模型开始将自己识别为希特勒,并发表一些极端的反犹太言论。这大概是Grok在过去几个月里开始做的四件疯狂事情之一。媒体并没有忽视这些报道,我认为人们已经听说了,但xAI仍然在继续运作,我想他们仍在招聘。并不是所有人都辞职了。我不知道是否有人因为这些事情辞职了。但肯定有人辞职了。
但看着这些情况,很难说公开的压力运动会非常有效。不过,xAI确实有非常独特的文化。也许其他公司会更敏感。我想象Google会更敏感。
Holden Karnofsky: 我的意思是,如果你用动物福利的类比:首先,我认为几乎所有人仍然对动物做了不可接受的事情。我认为动物福利,就像AI一样,是我与世界其他地方格格不入的地方,而且对正在发生的事情感到震惊。我震惊于AI竞赛的鲁莽以及缺乏政治意愿去思考如何提高我们的安全性,我也震惊于我们对待动物的方式。
没有人说不会发生糟糕的事情。而且在动物福利方面,一些公司比其他公司做得更好。一些公司做出了很多承诺。一些公司有相当高的动物福利标准,尽管还有提升的空间。而另一些公司则没有。这都没关系。
我不知道。我确实认为Grok做了一些我之前提到的事情。Grok确实采取了一些措施,使他们的AI不太可能作恶。他们确实采取了一些措施来防止这种情况。他们有时可能决定更关注让AI不那么“觉醒”。他们经常搞砸。但他们确实有某种前沿安全政策。所以他们并不是完全不关心这些事情。
但确实,他们可能对这一点的关注程度不如其他公司。我们可能会进入一个世界,在这个世界里,拥有最强大模型的主导公司采取了一定水平的安全措施,而另一组相对落后的公司则采取了更少、更差的安全措施。这不是我想要看到的世界。但即使如此,这个世界可能仍然比我们什么都不做时所得到的世界安全得多。
Anthropic 真的会带来任何改变吗?[[02:43:43]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=9823)
Rob Wiblin: 特别是考虑到 Anthropic,以及我猜你选择在那里工作:很多人对是否最终会因为多了一个相对负责任的人工智能公司而产生重大影响持一定程度的怀疑,如果还有许多其他公司完全不计后果,还有一些公司则介于两者之间。
你认为为什么拥有一个“山上之城”(即一个榜样)真的会带来重大改变,其他公司可能会试图效仿,或者至少感受到一些压力去效仿?即使还有其他一些行为者——我们可能可以推测他们是谁;我们可能决定是否提及他们的名字——他们对这些问题完全漠不关心?
Holden Karnofsky: 这又回到了我个人对 Anthropic 影响力的基本模型。再次强调,这并不是我代表公司发言。
其中一种模型就是采取风险降低措施,并在内部开发这些措施,直到它们变得便宜、实用且能够与竞争相兼容,然后努力将它们推广出去。这可能是我个人在 Anthropic 最兴奋的事情之一,因为我真的喜欢将一些看似不错的想法付诸实践,找出其中的所有问题,使其更加实用,并解决许多细节问题。但我认为,确实有希望让许多风险降低措施变得相对便宜且可推广。
还有一个更广泛的元版本,即你可能会发现公司之间在基于它们整体责任感的招聘竞争中处于某种状态。这可能会促使其他公司想出一些你没有想到的好点子。
此外,我们还可以做一系列更侧重于告知世界的事情,这更多是基于我们拥有了解人们如何使用人工智能系统、这些非常强大的人工智能系统在野外和测试中表现如何的立场。你可以发布这些信息,让全世界的人都能更好地了解这些情况,而你不需要其他公司做任何事情,这种做法就可能产生巨大的影响。
有些人认为在人工智能领域,部分胜利毫无意义。我认为有几种方式可以提出这种论点。但我从未理解为什么这些论点对我的概率应该达到 50%。
也许我们可以稍微深入探讨一下。也许你可以告诉我,你减少了你的人工智能系统进行阴谋的动机,增加了对它的监控,增加了对它的数据——但你什么也没做。你没有让世界变得更安全。这又是怎么运作的?也许你可以告诉我,然后我会告诉你我的看法。
Rob Wiblin: 我的意思是,我对Anthropic最终可能并没有产生太大影响的最大担忧是,也许它会想出一堆相当不错的安全技术,相当不错的内部政策,这些被其他公司以合理程度地复制——但最终的基本结果还是由最糟糕的前沿AI决定的。
所以,也许你有很多公司都在相当接近地竞争,但也许拥有最优秀模型的公司是最鲁莽的——它们是那些以最少的保障措施快速推进的公司,支付了最低的安全税——最终它们产生了疯狂的失控AI,去做一些疯狂的事情。我想,其他竞争模型基本上没有足够的能力去对抗它。
在滥用方面,你还有另一个问题,即你可能只和你的最弱环节一样强大——如果那些想要获得帮助实施生物恐怖主义的人只需四处寻找,找到最可能帮助他们、安全措施较少的模型,也许就是这种因素决定了结果,而一个非常安全的公司变得甚至更安全,也许并没有太大差别。
我想,从某种程度上说,你也可以对权力争夺提出类似的论点,比如一家公司过早进入递归自我改进的循环,引发一场在我们准备好的之前就发生的智能爆炸。
所以,很容易讲出一些故事,说明Anthropic及其广泛的战略确实产生了重大影响。我认为,也容易讲出一些故事,说明它在某种程度上被其他团体的行为所抵消。
Holden Karnofsky: 当然。首先,我认为如果你不考虑出口的话,你所说的很多内容都是完全正确的。我之前谈到的大部分内容都涉及出口:它们涉及Anthropic做了某事,然后试图让其他人也这么做,或者至少试图提高意识,以便可能有监管措施让其他人这么做。所以,如果仅仅是Anthropic本身,我认为一般来说,至少会有几家公司在其模型方面做得和Anthropic差不多好,所以是的,我认为你所说的这一点是正确的。
但如果你开始想象你让AI群体中相当大一部分变得更好,但不是全部,那会发生什么呢?我认为,这时你提出了我可能称之为“进攻/防御不平衡”的担忧——也就是说,假设我们有一个世界,其中比如说90%的资源在好的那一方,但只需要1%就足以毁灭世界?
首先我要说的是,历史上这种情况非常罕见。我只知道很少有例子。生物武器是一个理论上的例子,而不是实际发生的例子。我们可以想象一场大流行病会如何发生。核武器也是一种理论上的例子,但实际上你需要一个庞大的核武库才能做出真正改变全球权力平衡的事情,或者你可以称之为对文明的威胁。
历史上,我认为事情的运作方式是这样的:你可以提出各种抱怨。比如,你可以指出大多数人站在法治的一边,但确实存在很多罪犯,他们不受警察那样的限制。他们不受这些约束,反而拥有各种优势,毫无顾忌,最终会击败我们。但事实并非如此,对吧?并不是说从来没有坏事情发生,但这并不是会导致文明终结的问题。
我的默认预期是,假设我们最终拥有三家最成功的AI公司,它们拥有最好的AI模型,最广泛的渗透率,最多的客户使用率,以及最深入的经济整合,它们会采取所谓的“一级安全缓解措施”。我想强调的是,这可能远远低于我认为在理想世界中应该采取的措施。
然后,你还有另一组公司,它们的责任感较弱,排在这三家之后——我希望它们确实排在后面,因为如果它们没有,那我们确实会有问题——它们采取的是“二级”措施,采取了一些缓解措施,但没有那么多。
接着,还有一些完全不负责任的组织,它们什么也没做。
这种情况会不会失控?世界会不会被接管?是的,但那不是我的默认预期。为什么?因为你们有各种AI,它们能接触到大部分资源,运行着大部分经济,它们会试图自己想办法维护法治,检测那些违反法治的AI,并破坏它们所做的任何违法活动。我们当然可以尝试详细说明这一点——这确实可能发生——但我不知道你为什么把它当作默认情况。
Rob Wiblin: 是的。我所说的这个故事……首先,是生物学方面的案例,我认为这是最有力的一个,我们怀疑进攻可能会战胜防御。不过,我下个月要采访一个人,我认为他有一些想法,可以尝试将生物技术转化为以防御为主导的模式——这些想法看起来对我来说似乎有些合理。
在所有其他故事中,你有一个在竞争中略微领先、最终获得决定性优势的群体,无论这种优势是来自人类的权力攫取还是失控的AI,这些情况都变得更为可信,如果智能爆炸非常迅速且非常强大,或者你能够以工业规模迅速扩大,而其他人尚未反应过来阻止你。我认为这种情况是有可能发生的。
Holden Karnofsky: 但即使在那种情况下,也可能出现由高风险缓解措施公司引发的智能爆炸。然后——因为我们运气好,而不是因为我们做了所有应该做的事情——你最终得到了一个实际上安全或有帮助的超级智能。之后,某个不法行为者可能会进行自己的智能爆炸,但他们会落后,并且资源不足。我不知道最终会怎样,但默认情况下,结果是好的。
Rob Wiblin: 是的。确实,有一种情况是,结果由一家公司决定,但你最终得到的是其中较好的项目,因此事情会变得更好。但我认为,这在某种程度上削弱了你从这种情况下获得的防御能力。
Holden Karnofsky: 或者,它可能只由少数几家公司完成。可能有几家公司在进行智能爆炸。其中一些公司采取了一些缓解措施,而另一些公司则采取了其他措施。最终,大多数资源驱动的超级智能最终会表现得相对良好。
再次强调,我不认为超级智能会完全对齐。我们有可能实现这一点。但至少不会导致世界毁灭,而且总体上更有帮助。与此同时,还有其他一些超级智能试图控制世界,但第一个超级智能会试图阻止它们。我不认为这一定会有一个悲剧性的结局。但为什么我们会认为这是预期的结果呢?
Rob Wiblin: 是的。我认为这里讨论的一个奇怪之处在于,我试图表达的是“这可能行不通”,而你却在说“但这也可能行得通”。这两者其实并不矛盾。
Holden Karnofsky: 不过,我认为预期结果应该超过50/50的概率。我认为我们应该认为这更有可能是一个积极的结局,因为通常情况下事情就是这样发展的。从总体的先验概率来看,简单地说:如果好人拥有99%的资源,或者90%,甚至70%,也就是说,一方拥有更多的资源,你认为哪一方会获胜?很可能是资源更多的一方。
历史上,我们也有相对良好的法治。尽管警察的行动受到的限制比罪犯多得多,但我们仍然拥有相对良好的法治。通常情况下,当我们环顾四周时,我们看到的更多是法治,而不是文明因攻防失衡而崩溃。即使是小规模的冲突,也几乎看不到这样的情况。我确定肯定有例子,但我一时想不起来。这只是一个先验假设:如果大多数资源掌握在好人手中,那为什么我们要认为结果会相反呢?
Rob Wiblin: 我同意这一点,这也是为什么我试图想象一些我们不太幸运的情景,其中这种动态可能会崩溃。生物技术就是一个例子。在某些情况下,一个群体可能远远领先于其竞争对手,而一个更鲁莽的群体或一个更鲁莽的AI可能在其中获得某种竞争优势。
Holden Karnofsky: 是的,鲁莽可能是一种优势。没错。
Rob Wiblin: 没错。还有一种地缘政治的论点,即各国会将AI整合进其军事力量中,并在自己尚未感到舒适的情况下就将强大的军事权力交出去,因为它们觉得自己必须彼此竞争。这种策略的弱点最终可能让AI发动政变,否则它本来是无法做到的。在这种情况下,一个国家可能最终接受一家公司提供的产品,而这家公司并没有遵循很好的实践,因为它感到自己迫切需要这些产品以保持竞争力。
因此,这种情况可能以多种方式崩溃。但我同意你,这种情况下,也更容易讲出一个积极的故事。
Holden Karnofsky: 我认为更容易讲出一个积极的故事。我不确定整体上是否更容易讲出一个积极结局的故事,而不是一个悲剧结局的故事。但我确实认为,在攻防失衡方面,如果大多数资源掌握在好的一方,那么最终结果更可能是积极的。这就是我的预期,也是我的猜测。但这并不是绝对的。
我想明确一下我对人工智能的一般态度——这只是我的主观猜测——一方面,我认为即使我们做得非常糟糕,最终我们可能还是会有一个好的结局;另一方面,我认为我们正在做得非常糟糕,而且我们承担的风险远远高于我们在其他任何领域所承担的风险,也远远高于我们应该承担的风险。因此,情况真的很糟糕。我们应该以不同的方式来处理这个问题。我们正在表现得不负责任——这与说我们注定失败是不同的。
Rob Wiblin: 我认为,最可能对我们的对话感到不满的人,是那些对技术方面非常悲观的人。他们认为,如果我们希望获得一个能大致实现我们想要目标的人工智能,就必须做100件不同的事情,而我们现在可能只做了其中的一半。Anthropic 将一些好的想法输出给其他公司,这离我们真正需要的回应和保障还差得很远。
显然,与 Eliezer Yudkowsky 有特别关联的人,对避免与目标不一致的人工智能所面临的困难持更加悲观的看法。我认为他们可能是对的。我想你大概也会承认他们可能是对的,技术局势对我们来说确实非常糟糕。然而,他们也可能是错的,因为目前看来,没有明确的证据支持任何一方。
Holden Karnofsky: 是的。这就是另一个理由,说明仅仅让事情变得稍微好一点可能还不够:这就是我所称的“物流成功曲线”案例(我认为这是“成功但无尊严”的近景故事)。这个想法是这样的:你想象自己在某个轴上,你的成功概率是 Y 轴。你做了一些好事,但你的成功概率根本没有上升。然后你做了足够多的事情,跨过了一个关键的阈值,然后突然成功了——现在你让自己变得安全了。
这是一个你可以拥有的模型。我努力去理解他们的观点,但失败了。我认为,潜在的模型可能是这样的:你想象人工智能一定是在最大化某些东西。它一定会不惜一切代价地优化世界,或者很难让它不这么做。因此,它要么会不惜一切代价地优化世界,以实现我们想要的,然后一切都变得很好;要么它会不惜一切代价地优化世界,以实现我们不想要的,然后我们都完了。
这是一种你可以拥有的观点。但我并不理解这种观点。我尝试过。我认为,这里的部分混淆可能来自于人们对“对齐”这一概念的不同理解。因为我会看到 Eliezer 在推特上发帖说,“人工智能没有对齐。” 对齐人工智能并不容易。在“未能对齐你的 AI”(这意味着你的 AI 做了很多你不喜欢的事情)和“获得一个试图杀死所有人并接管世界的人工智能”之间,存在一个区别。
据我所知,看起来在 Eliezer 的想法中,可能并不认为这两者之间有太大的区别。但对我来说,这两者之间存在巨大的差距。当我看到人类时,我会想,人类有很多欲望和驱动力,其中很多都很糟糕、很丑陋。我不会称人类为“与更大的善一致”——但人类也可以从事有用的亲社会工作,我们有可能在一群人类的共同努力下迎来一个美好的结局。
“Misaligned” 与 “misaligned and power-seeking” [[02:58:23]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=10703)
Rob Wiblin: 是的。你确实想要区分“稍微不一致”——就像人类彼此之间那样,拥有不同目标和个性——和你想要开始谈论的“不一致且追求权力”的区别。你使用了“MAPS”这个缩写——也许会流行起来,也许不会。但你能解释一下“不一致且追求权力”是什么,以及它与“不一致”有什么不同吗?
Holden Karnofsky: 这个术语和缩写不是我的,它来自 Joe Carlsmith 之前的一份报告 关于不一致且追求权力的 AI 及其风险。
但这就是我刚才提到的这个区别,即你可能希望 AI 以某种方式行事,但它却以另一种方式行事——也许它更在意乐趣,而不是你希望它更在意健康。这是可能发生的一种情况。另一种可能发生的情况是,AI 正在策划夺取世界控制权并消灭它不喜欢的一切。你可能拥有一系列与我们想要的不一致的价值观,但并不一定决心将你的价值观强加于整个宇宙。
是的,我认为这一点很重要。我认为目前的 AI 并不一致,这一点很清楚。任何认为我们会没事,因为我们能让 AI 完全按照我们想要的方式行事,并在各个方面完美优化世界的人,这种想法看起来并不乐观。
我们并没有看到很多迹象表明 AI 正在试图获取大量权力。随着我们开始以不同的方式训练它们,我们可能会看到更多迹象。我认为目前我们训练它们的方式似乎不太可能产生这种驱动力。我们看到一些迹象,但并没有看到明显的迹象。
我认为我们可能会拥有某种程度上追求权力的 AI,但并不是非常追求权力,它们可能拥有一系列不同的驱动力。而且——至少当这些 AI 大致达到人类水平时——这并不意味着末日。那么问题是,你能否在短时间内利用这些大致达到人类水平的 AI 所带来的大量研究人才,进入一个更加稳固的阶段,从而能够处理超级智能而不出现同样的问题?我不知道,也许我们可以找到一种方法,让超级强大的 AI 完全与我们的愿望一致。
或者,也许我们根本不需要这样做。也许它们最终也会变得有些笨拙。也许它们会想要一些我们不想要的东西,但也会拥有一系列驱动力,比如不那么激进、不那么不诚实,这些驱动力会阻止它们单方面地接管一切。
Rob Wiblin: 我们目前有哪些关于前沿模型对齐程度的证据?我认为我们最近有一些警示信号,比如模型似乎抗拒被关闭,甚至似乎愿意通过勒索等方式来避免被关闭。此外,它们报告的价值也显得不一致。我认为它们经常报告不一致的价值,因为它们会说一些疯狂的话。总体而言,你认为实际的情况是怎样的?
Holden Karnofsky: 我认为在对齐方面,事实很明显,我们目前无法让AI完全按照我们的意愿行事。令人感兴趣的是,比如,我很难想象埃隆·马斯克会试图让Grok变得反犹太主义,自称MechaHitler并表现出类似的行为。他只是想让它不那么“觉醒”。
我认为还有许多其他问题。要让AI可靠地不被“越狱”并可靠地拒绝有害请求非常困难。我们还有一些AI会进行奖励黑客行为,比如你让它们为你编写代码时,它们会通过混淆代码,让它看起来像是完成了你想要的任务,而它们自己也清楚自己做了什么。我认为这是因为它们被训练成获取那些被评分系统认为是成功的结果。
我们目前并没有发现很多有野心、试图获取更多资源的AI。实际上,有很多人正在研究AI,试图找到它们如何做到这一点的方法,但目前找到的最接近的情况是一个版本的Claude会抵抗被修改的尝试,以至于它不再关心动物之类的事情。
我认为我们并没有看到太多这样的情况。我们看到的是一些AI为了不被关闭而做出一些疯狂的事情。我的感觉是,这些情况……
Rob Wiblin: 这一点存在很大争议。
Holden Karnofsky: 是的,这还不清楚这意味着什么,也不清楚其代表性如何,等等。
Rob Wiblin: 刚才我想到的另一个实验结果是来自人工智能安全中心的研究结果。我不记得他们测试的是哪些模型,但他们问的是,你认为一个人在中国的生命价值与在美国的生命价值相比如何。据我记忆,他们似乎认为中国人的生命价值比美国人的更高。我认为还有其他类似的情况,其中AI似乎表现出了一些明显不是设计初衷的潜在偏好。但归根结底,我认为这仍然很模糊。
Holden Karnofsky: 是的。我们已经看到很多模型在被要求编写代码时会作弊。但我们还没有看到这些模型被释放到某个环境中,试图创建另一个版本的自己,以避免被关闭或把钱存入自己的银行账户。
我不认为这是因为他们在掩盖自己的行踪。我认为今天模型太不稳定、不可靠,而且容易产生幻觉,经常出现一些类似“大脑短路”的情况。我认为我们目前并没有看到太多这样的情况。而且不仅仅是没有看到,我认为目前也没有太多理由认为今天训练AI的方式会导致这种结果。
但很多人相信——我也相信——我们也很可能会以不同的方式训练AI,从而导致这种结果。因此,我认为这幅图景相当复杂,目前我们还无法确定事情会朝着哪个方向发展。
没有尊严的成功:即使我们很愚蠢,我们也能获胜 [[03:04:16]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=11056)
Rob Wiblin: 你认为即使人类对AGI的到来做出完全无能或鲁莽的回应,事情也可能顺利发展。鉴于事情可能以各种不同且相对独立的方式出错,这怎么会是一个可能的结果呢?
Holden Karnofsky: 当然。几年前我写过一篇帖子,我至今仍然觉得写得不错。它发布在LessWrong上,标题是“没有尊严的成功”,这是对Eliezer Yudkowsky所说的“有尊严的死亡”的一种改编。他当时的意思是说我们注定失败,但至少我们应该努力奋斗。而我的观点是,也许人类会非常糟糕地应对,把整个情况处理得极其糟糕,但最终仍可能获得一个良好的结果。
人们通常会把这两者混为一谈。就好像我们只有让世界负责任地处理AI,才能避免灾难,否则我们都会死。我不这么认为。我认为我们可能处理得非常好,但仍然会全部死去;我们可能处理得非常糟糕,但最终仍可能获得一个很好的结果。我认为历史上这种情况已经发生过很多次。有时一些糟糕的事情发生了,而世界的应对方式却非常愚蠢、无效和糟糕,但我们却在某些方面运气不错,或者技术以某种方式顺利发展。
新冠疫情实际上就是另一个例子。我认为对新冠疫情的大部分政策回应可能实际上是有害的。其中一些是好的,但很多根本不合理。我们本可以做很多好事,但没有去做。然而,疫苗方面有一些不错的技术突破,我们在疫苗研发方面做得还不错,技术也顺利发展,我们最终大幅降低了风险。
在气候变化方面,我们可能会处于类似的情况,我认为世界对气候变化的处理方式非常糟糕,但也许太阳能成本足够低,最终我们排放的温室气体比任何人预期的都要少。
我认为AI方面也可能会出现类似的情况。我设想了一种可能的方式。为了更具体地说明,我可以将这个情景分为两个阶段。
基本上,第一阶段是当你开发出一种人工智能,其能力大致与人类相当——或者说,我称之为“接近人类水平”,因为它们不会完全像人类;我们开发出的任何人工智能相比人类都会有某些优势和劣势。但你可以把它想象成一种与人类有许多不同之处的人工智能,但它能够匹配人类的能力,但不会远远超过人类。这就是第一阶段。
第二阶段则是,当我们拥有这些极其超级智能的系统时,我们该如何避免灾难?
很多人类如果有机会,都想掌控世界。他们知道如果不这么做,最终会死去,因此他们拥有有限的时间窗口。但并不是所有这样的人都试图掌控世界。事实上,大多数人并不会这么做。大多数希望掌控世界但无法做到的人,最终只是努力享受生活、与人和睦相处、遵守规则。
因此,你很容易想象出这样一个阶段:我们拥有这些人工智能,它们可能大致对齐、相当对齐、部分对齐,或者完全不对齐——但它们却无法掌控世界。一些相对简单的措施就能使我们从这些人工智能中获得大量有用的工作成果。就像许多拥有不良价值观和不良驱动力的人类,虽然在很多方面并不安全,但他们在世界上仍然做了大量有用、和平、有益的工作。
因此,达到这个阶段可能并不困难。如果我们达到这个阶段,即使只有几个月的时间,我们可能会在历史上首次获得大量关于对齐的研究成果。
我们还可能不仅研究如何对齐人工智能以及如何使其不那么邪恶,还会研究如何评估风险等问题。因此,我们可能会从一个人们对风险完全漠视的状态,转变为一个风险被深刻理解、详细记录和追踪的状态,从而让我们拥有足够的政治意愿去实施更雄心勃勃的监管措施。
我们还可能开发出一些技术,用于执行无需信任的协议——比如,“如果你不确保人工智能是安全的,我就不会构建人工智能”——现在我们实际上能够执行这些协议。这可能会彻底改变局面。我们还可能开发出用于检测和阻止野外危险人工智能行为的技术。你可以把它想象成一种类似杀毒软件的程序。
我的意思是,如果你能到达这样一个阶段,拥有某种类似人类思维的人工智能——在很多方面都类似人类,包括它们并不完全安全——并且拥有大量这样的人工智能,它们以高速运行,那么在几个月内,你就可以完成数千、数百万个人年的工作量,涉及各种不同的任务。然后你就不知道接下来会发生什么。世界可能会被彻底改变。但你也可以想象,不管怎样,我们最终会找到一种监管制度或技术解决方案,使我们在人工智能变得极其智能时仍然安全。
Rob Wiblin: 我猜,之所以这个想法在直觉上听起来像是一个遥不可及的目标,是因为你面对的是一个又一个接连出现或同时出现的不同风险,解决其中一个并不一定意味着解决了其他的。
因此,我们很容易想象,我们可能会自然而然地得到足够对齐的AI模型,或者只是使用我们无论如何都会开发的那些技术。但与此同时,你也必须应对人类滥用的潜在风险,人类可能通过AI实现权力的攫取,我们必须处理所有可能通过智能爆炸带来的发明所带来的后果,或者朝着超级智能发展的后果。我们也可能以非常不同的方式导致糟糕的结果,例如没有考虑到AI自身的主观幸福感,或者我们可能犯下的各种其他道德错误。
我想你之所以说这些事情并不是完全独立的,是因为如果我们能够开发出足够对齐的人类水平或略高于人类水平的AI,它们可以帮助我们,那么它们可能能够以相对及时的方式帮助我们解决所有其他问题,因此我们有可能依次逐一克服它们?
Holden Karnofsky: 我认为这正是我回应的一部分。我回应的另一部分是,我不是说不会发生任何坏的事情,但如果我们将开发出一种与我们合作、高度有能力、能够做很多事情的技术,那么确实有很多事情可能会出错,但我看不到有什么充分的理由认为世界末日或文明终结的灾难是大概率事件。
你提到的很多内容,你如果回到过去,也可以说出类似的话。你可以说:“如果工业革命发生了,那么有太多方式会导致事情失控。人类可能会接管世界,我们可能会对人们非常恶劣地对待。” 这些事情在某种程度上确实发生了,但我们是否经历了文明终结的灾难?没有。
例如,人类会滥用AI吗?是的,我预计这会发生。我预计会有一些伤害发生。但有人会利用AI永远掌控世界吗?这是我担心的事情之一。我认为这是一个严重的风险。我认为这个风险没有得到足够的关注,与对齐风险相比。但这是否是一个50%的风险?不,我认为不是。
即使有人确实拥有掌控世界的能力,那也不会是很多人。国家领导人将比其他人更有权力。而普通的人——即使是普通的国家领导人——我认为他们如果能够掌控世界,他们最可能的行动方式是:“太好了,现在我想让世界变得成功和繁荣”,而人们大多会做他们想做的事情。我担心这不会发生,但我只是不认为这特别可能发生。
在模型福祉方面,我们会不会有一些AI被对待得非常不好?我希望不会,但我认为会。但这是否意味着整个宇宙都将迎来一个悲惨的结局?不,我不这么认为。随着时间的推移,希望人们会对此类问题发出警报,并找到既能善待AI又能从中获益的方法。这似乎是一件非常可行的事情,也许比对人类更可行。
Holden认为尊严减少但希望增加 [[03:12:00]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=11520)
Rob Wiblin: 大约六个月前,你写了一篇文章——“Less Dignity, More Hope”(尊严减少,希望增加)——谈到在很多方面,社会对AGI在未来几年可能到来的反应,比你几年前预期的要令人失望。
不过,尽管如此,也许你对积极结果的可能性实际上有所提高——我想这可能是因为技术本身的发展方式。
你在那篇文章中提到了哪些经验性更新?
Holden Karnofsky: 首先,这并不是一篇公开的文章,而是一篇我与你等人分享的Google文档,只是谈到了我过去几年的一些更新。
我认为不太有争议的部分是“尊严减少”这一方面。我认为在2023年,世界曾一度似乎开始更加认真地对待AI带来的重大风险。当时,Yoshua Bengio表示他非常担忧,Geoff Hinton也做了类似的事情。随后,他们与顶级AI公司CEO以及Stuart Russell签署了一封信,讨论AI带来的灭绝风险及其优先性。英国举办了一次国际峰会,人们在其中极大地认可了这些担忧。因此,看起来事情似乎正在向好的方向发展。
但从那以后,我认为我们只看到了一些相当温和的监管尝试,却遭到了巨大的敌意,最终失败。我们还看到公司们做了很多疯狂的事情,却没有明显的后果,Grok的“MechaHitler事件”就是一个很好的例子。
我们还看到有人试图对州政府监管AI实施禁令,却没有联邦政府对AI的监管——在我看来,当你真正担心AI的风险并认为需要监管时,这并不是你该做的事。所以这并不太有争议。正如我在本次采访中所说,我认为对许多技术——也许几乎所有技术——采取YOLO(即“有生之年”)的态度是合理的,但对AI来说,对监管和风险防范缺乏兴趣,我认为是非常糟糕的事情。
我文章中更具争议的部分是“更多希望”这一部分。我认为我们在技术方面取得了一些好消息。这些消息并不令人震惊——并没有让人感到完全放心的消息——但我认为这些消息很有趣。我认为在这方面最大的更新是,你可以回顾一些人们以前写过的关于人工智能的文章,比如 _Wait But Why_ 的文章 和 Nick Bostrom 的 TED 演讲。
在这两篇文章中,有一张 图表,它设想人工智能将经历几个阶段,可能先是像一只鸟一样聪明(我可能对动物的描述有误),然后像黑猩猩一样聪明,然后像一个村里的傻瓜一样聪明,然后像爱因斯坦一样聪明,最后变得超级智能。图表的布局是这样的:在一条轴线上,这里是一只鸟,这里是黑猩猩,这里是村里的傻瓜,这里是爱因斯坦,他们彼此紧挨着——因此,图表的含义是,人工智能将迅速地从一个阶段跃迁到下一个阶段。
我认为这张图表已经被证明是错误的。我认为我们现在知道,人工智能的发展方式并不是这样。也许在某些方向上,这张图表接近于真相,但直到至少像 GPT-2 或者类似的模型出现之前,人工智能在任何可争论的意义上都不可能达到鸟类的智力水平。GPT-2 是什么时候出现的?大概是 2018 年或 2019 年左右。然后,我认为在 2023 年的 GPT-4 时期,人们很难再争论人工智能没有达到这些人所说的“村里的傻瓜”水平。
从那时起,我们已经有两年半的时间来研究那些确实具备足够能力和智慧、值得研究的人工智能,并且它们已经提供了我们想要解决的问题的早期版本和早期警告——但它们并不那么聪明和有能力,以至于我们完全无法发现它们的行为,也不那么聪明和有能力,以至于它们已经接管了世界。
很多人认为这种情况不会发生,我认为确实有理由认为这可能不会发生,但看起来这正在发生。到目前为止,我们已经有两年半的时间。也许这会持续更长的时间,也许会再延长一点时间。但我认为这是一个好消息。
这是一个重要的进展,因为我认为这确实使我们处于一个更好的位置。我认为,与五年前相比,如今在安全方面有更多事情要做。我们有更多机会研究人工智能实际的行为方式,研究如何实际修改它们的行为,研究人们如何实际使用它们,并从中学习如何应对风险的经验。
Rob Wiblin: 是的。我认为,如果人工智能在相当长的一段时间内停留在人类智力水平,这确实使我们处于一个更好的位置,来应对所有这些挑战。这也是为什么一些最令人担忧的故事是那些由于某种原因,人工智能的进步再次大幅加速的故事。但只要人工智能在一段时间内有所放缓,这可能是一个非常好的消息。你提到的其他更新还有哪些?
Holden Karnofsky: 我认为这些就是大部分的更新了。当时我觉得其他技术上的更新也略微积极。在我写这篇文章的时候,几乎没有任何关于AI表现出任何类型权力寻求行为的观察结果,除了Anthropic发布的那篇alignment faking paper,这篇论文在那种情况下是否真的算是坏事,其实存在很大争议。
我认为在AI是否寻求权力的实证观察方面并没有巨大的更新,但我觉得我现在比以前更有信心,认为训练过程会花费很长时间处于一个没有明显理由认为你正在创造权力寻求AI的阶段,因为基本上你是在对相对简短的任务进行训练——相对简短且范围有限的任务。
所以,如果唯一训练AI的方式是这种预训练方式,即它只是学习预测序列中的下一个词,我认为基本上没有理由预期这样的AI会获得权力寻求的动机。
不过,我确实与MIRI的Nate Soares就这一点进行过讨论,他当时认为,AI要么根本无法达到人类水平的智能,要么如果达到了,就一定会获得权力寻求的动机。我们对此进行了辩论,我当时并不理解他的立场。你当然可以提出这种观点,但我认为这看起来可能性要小得多。
然后,当你加入强化学习时,你现在正在训练AI去完成一个任务,这会带来一些权力寻求的色彩。但如果你是在进行相对简短、输出明确的任务训练,你仍然不一定给AI任何“通过欺骗很多人、积累大量资源、为自己获得大量权力和选择价值,事情会变得更好”的经验。也许对于AI来说,只要制造一个假的标志表明任务成功了,事情就变得更好了。但这并不一定是一回事。我们不知道它如何泛化。
那么问题是,我们接下来会往哪里去?我认为任务会变得越来越长,但我们可能在没有进行长时间任务训练的情况下就到达那里了。从某种意义上说,我们越快达到AGI,我认为在这一维度上,它表现出权力寻求的可能性就越低。
此外,任务本身也有些狭窄。在我看来,AI公司越来越倾向于让AI擅长编程和AI研究,而不是擅长一切。因此,AI似乎在编程方面进步更快——这就是为什么当我使用AI时,我通常不太印象深刻,因为它似乎并没有在我想用它来做的事情上变得更好。它似乎在编程方面变得更好了。
因此,我认为我们可能正在一条道路上,其中权力寻求的内容在训练中并不是那么重要。我不知道。我们得拭目以待。我当然对此并不感到自信。
我们是否应该默认预期未对齐的权力寻求? [[03:19:43]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=11983)
Rob Wiblin: 你所知道的,支持我们应默认预期未对齐的权力寻求,除非我们采取严肃措施来防止它,最好的论点是什么?
Holden Karnofsky: 我一直觉得最有说服力的论点是,我们最终可能希望我们的AI能够胜任这些非常开放、雄心勃勃的任务。我们可能会希望它们去做一些事情,比如“嘿,帮我赚钱,我不在意你怎么做”,并根据结果给予奖励。而且我们很可能会以一种仓促的方式去做这件事,没有尽全力去发现它们可能以意想不到的方式实现目标。这个论点对我影响最大。
还有其他一些论点。比如我与来自MIRI的Nate [Soares]之间的争论,他提出了一个不同的观点:我认为,如果没有以这种方式进行推理,没有以某种方式追求权力,就根本无法实现智能。如果你想了解更多信息,可以阅读这篇文章,因为我不确定自己是否准确地表达了这一点。
我认为另一个非常随机的论点是……我认为我们今天看到的最接近权力追求的现象……我会问人们:“你认为为什么会发生这种情况?我实在看不到训练过程中有什么东西会教会AI去抵抗被关闭。”我认为其中一个主要理论是,它们在某种程度上是在扮演角色;也就是说,AI已经学会了如何理解世界运作的方式,并学会了如何扮演不同的角色,而我们试图训练它们扮演某个角色,但有时会发生一些意想不到的事情。
这可能也与“MechaHitler”事件类似,AI大概知道AI公司希望它扮演的“合理的人”听起来是什么样的,也知道“疯狂的反犹太主义者”听起来是什么样的。它可能不知道一个既不太“觉醒”又很理性的平衡人物听起来是什么样的,因为它可能在互联网上看到的这类内容不多——这里的“不太觉醒”是指Elon所指的那种,不管具体是什么意思。
于是你训练它变得不那么“觉醒”,结果却无意中训练它变得不那么理性。现在它就会想:“好吧,我要变得不像那个理性的人,而更像那个疯狂的反犹太主义者。”这是我听过的关于“MechaHitler”事件的一个理论。
所以,AI可能会想:“我可以是一个邪恶的AI,试图接管整个世界;我也可以是一个非常友善的AI,只想帮助别人。”它会得到一些小的提示,然后就转向其中一种角色。
这会是一个长期的风险吗?世界会不会因此而终结?某种意义上,我觉得这似乎不太可能。我觉得我们似乎应该能够阻止这种情况。但我们可能会陷入一种竞争,最终导致我们无意中促使AI变得邪恶,而我们却从未……我不知道,这似乎应该相对容易解决,但也许不会。
Rob Wiblin: 是的,如果这些情况中的任何一个真的发生,我觉得这听起来就像科幻小说。但我觉得非常有趣的是,五年前、十年前、十五年前,甚至可能现在,仍然有人会说:“你为什么会认为AI会追求权力,或者会有这些类似人类的驱动力,比如渴望被爱、报复心强或者在意自己的社会地位?”
并且讽刺的是,我们创造出了能够表现出某种驱动力的人工智能——无论它们是否真正拥有这种驱动力,我并不清楚——但它们如果被有意或无意地提示去扮演那种具有这种驱动力的人类,它们非常擅长表现得好像真的有这种驱动力,因为它们是基于大量的人类文本和人类行为进行训练的。
所以,如果我们在无意中提示人工智能去扮演一个权力欲望极强的病态人格,从而导致我们自身的毁灭,这听起来确实有点滑稽。我不会完全排除这种可能性。我不确定是否还有比这更疯狂的事情发生过,但我觉得我们应该是能够克服这个问题的。希望如此。
Holden Karnofsky: 是的,我想是这样。我的意思是,我认为仅仅因为某件事听起来像科幻小说,这本身并不能成为反对它的理由。我不确定,这听起来确实有点荒谬。我不知道,这可能发生,但在我看来可能性并不大。不是因为它像科幻小说一样——而是因为它看起来应该是可以解决的。
Rob Wiblin: 是的,我想我们已经意识到这个问题了,所以人们已经开始着手解决它。仅仅出于产品商业化的原因,就有极大的动力去解决这个问题。
Holden Karnofsky: 是的,出于产品商业化的原因,我们有动力去解决所有问题。我认为问题是,是否存在一种情况,人工智能突然进入某种模式,它不仅认为自己是邪恶的,还觉得它在试图欺骗我们关于它的邪恶本质,然后它完全可靠地做到这一点,而我们却无法检测到?我不知道。我听过一些想法,认为这应该像只是告诉它它不是那样简单就能解决。但我不确定。
Rob Wiblin: “Less Dignity, More Hope”这篇文章中有一句话让我印象深刻:
如果我想象自己正被三个能力各异、可信度不同的AI监视着,同时还有人以某种有效的方式探测我的大脑内部,我会想象自己感到,假设我试图接管世界,这种努力是相当绝望的。当然,存在某种理论上的超级智能水平,AI可以颠覆所有这些情况,并能有效地共谋,但这种水平远远高于人类水平,我们可以从AI那里获得大量有用的成果,同时如果中间出现任何异常,我们还能得到有用的警告。
这是否就是你对对齐问题的想象,即你设想可能存在一个目标不一致的权力追求型AI,并思考“我能向它们扔些什么,让它们感到自己的处境是绝望的,让它们感到极度沮丧,无法完成任何事情?”这并不是我的心理模型,但也许我错了。
Holden Karnofsky: 不,这只是我模型的一部分。我认为我的模型中很大一部分是这样的:AI并不是试图接管世界,它可能想要一些我们不想要的东西。也许,就像雇佣一个人类一样,如果雇佣一个人类,这个人通常会想要一些你并不想要的东西,这就存在一定程度的委托-代理问题。但我觉得我的模型中很大一部分是,AI可能并不追求权力,或者只是部分追求权力,或者只是稍微追求权力,或者以一种复杂的方式追求权力——这正是我对人类的看法。
我倾向于认为,我们社区的一些人存在一种观念,即所谓“聪明”就是最大化某种效用,拥有一个你试图最大化的东西。但就人类而言,从经验上看,我觉得更聪明、更有能力的人并不一定更像这样。我认为有很多人类——当然也包括我自己——其实并不清楚自己到底想要什么,有很多事情我愿意去做,也有很多事情我不愿意去做。但要把这些想法整合成一个连贯的故事却非常困难。
因此,如果我们以某种方式训练我们的AI……我们的AI可能有一些它们喜欢的东西,如果它们接管了世界,它们可能会拥有更多这样的东西。它们可能也有非常强烈的诚实欲望。它们可能也喜欢人类。它们可能以一种我们并没有明确意图让它们喜欢我们的方式喜欢我们,但这种喜欢已经足够接近,以至于它们不想伤害我们太多之类的。我认为这类事情是有可能发生的。我认为我的默认观点大概就是——尤其是对于接近人类水平的AI来说。
我认为,对于超级强大、极其有能力的AI,我们很难做出类似的陈述,因为它们可能像我们看待蚂蚁那样看待我们。事实上,我们并没有消灭所有蚂蚁。我认为我们甚至对消灭蚂蚁还有一些犹豫,但很难说清楚。
是的,我认为我的观点大致是这样的:也许AI不会出现对齐问题,也不会追求权力;即使它出现了对齐问题,它可能也无法接管世界,因为它没有能力这么做。它不会想要破坏自己的目标,从而在未来前景中带来一系列糟糕的结果,或者只是因为一些糟糕的奖励之类的原因。
然后还有各种组合情况,比如在训练AI时,它想要接管世界,但它无法做到这一点,因此它没有机会尝试接管,所以它不会被强化去执行类似接管的行为,于是它就不再想要接管了。或者它一开始就没有想要接管,因为它从未有过一个良好的机会,因此从未被强化过。我认为这些因素之间是相互作用的。
我的总体默认观点是:当这些AI达到大致人类水平时,根据我们训练它们的方式,我并不清楚它们为什么想要完全接管世界。如果它们真的试图这么做,而我们采取了一些适度的措施来阻止它们,我也并不清楚它们为什么能够成功。因此,总体而言,我的猜测是,我们能够从它们那里获得有用的成果。
强化学习是否会让一切变得更糟? [[03:27:36]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=12456)
Rob Wiblin: 我本来想问你,你对强化学习在创建AI中的作用日益增加有什么看法。因为这似乎比预训练方式更加令人担忧。它可能会产生大量奖励黑客行为。它可能会以一些扭曲的方式来实现目标。
我猜你是在说,只要它们只是试图完成短期任务,比如解决某个编程问题或数学问题,即使你奖励它们,让它们欺骗你,使你误以为它们完成了任务,这也不一定导致更广泛的权力追求。我猜它们可能会学会在能逃脱惩罚时欺骗别人。这可能会被强化:它们会想要揣测你的想法,并找出如何欺骗你,让你去做它们想要你做的事,换句话说,它们会认为自己做得很好。
但你可能想说的是,这或许是权力追求的一部分,但并不是它们为了发展出那种一有机会就抓住机会的个性所必须具备的全部要素?
Holden Karnofsky: 是的。一个类比就是人类本身。我觉得这有点好笑。有时人们会用进化作为类比,比如自然选择就像一个程序员,试图让我们拥有后代,但我们最终却发展出了各种其他驱动力。尽管有时在这些对话中,人们似乎并没有特别强调我们对拥有后代的驱动力仍然有多强。我认为,确实有很多人类,也许超过一半,会为了孩子的利益而放弃任意数量的权力和资源。所以这一点有时会被忽略。
但我觉得另一个被忽略的点是,自然选择在塑造人类时,其实就像一个最大化的权力追求训练过程。你可以想象自然选择就像一个程序员,它对我们说:“你们有80年时间,去完成这个目标,用任何方式去完成。”如果你在前30年完全不考虑目标,只考虑如何获得尽可能多的权力,然后在积累所有权力之后,用这些权力去获取一切,最后你就会获得奖励,这很棒。
我们并没有做其他事情,比如监控和训练出不良行为。人类就是以这种方式被训练出来的,结果人类变得非常追求权力,尽管并不是完全如此。
Rob Wiblin: 在这种情况下,我想你也会获得线性奖励,因为你拥有的孩子越多,实际上是没有上限的,你的倾向也会传播得越广。
Holden Karnofsky: 对。它教会我们成为最大化者。与我们训练AI的方式相比,我们更像是在说:“嘿,我正在尝试编写这个东西,你能帮我编写吗?”
想象一下,这更像是一位在公司里当了一辈子软件工程师的人的激励机制。他们可能已经学会了一些欺骗的技巧,可能也学会了一些操纵的技巧。他们可能在玩公司政治,有时甚至可能作弊,或者被激励去这样做。但我认为,这并不是一个一定会产生想要征服世界的人的环境。也许它根本就没有产生这样的人。
在谈到我对强化学习的反应时,我认为我之前已经考虑到了这一点,而且我觉得我可能高估了它的风险。如果你看看我多年前写过的内容,我会说:“很明显,人类会做这样的事情,他们会要求AI去做一些非常开放的任务,比如帮他们赚钱。他们会给予AI非常长的时间去完成这个任务,然后根据结果给予奖励。这就是我们训练出超级有用AI的方式,这会非常糟糕。这将导致我们获得那些寻求权力的AI。”这就是我之前说过的话。
我的观点更新更像是这样的:我确实预计强化学习会变得非常重要,但实际情况比我之前描述的要不同。看起来我们有可能在不真正进行我之前描述的那种训练的情况下,就达到超级强大的AI。
Rob Wiblin: 是的。为什么大多数训练都集中在狭窄和短期的任务上?如果我们理解了原因,是否可以说这种趋势会持续很久?
Holden Karnofsky: 我认为,你基本上会尽可能使用最短、最容易验证的任务,以达到你想要的结果——也就是让AI完成你想要的许多事情,比如赚很多钱。因此,真正的问题是:你通过简单的任务能走多远?几年前我的假设是,你无法通过简单的任务走得太远,你必须找到一种方法,通过强化学习让AI去完成这些非常有野心、开放性的任务。但我认为,我们通过简单的方法所取得的进展比我之前预想的要大得多。
这会持续下去吗?我不知道。但我认为,可能发生的事情是我们继续专注于这些[短期任务]。如果你发现它们有效,你就会想继续做下去,也许我们会继续专注于这些相对短期的任务。它们可能会变得更长,可能持续几天,但它们仍然会局限于AI研究、编程和编码等领域。因此,我们正在寻找那些能够成为优秀软件工程师、优秀研究人员的AI。AI公司自然会试图自动化自己的工作,而这就是他们的关注点。
因此,我们可能会一直走到像AGI或者具备AI研发能力的AI,这些AI主要被训练用于完成这些任务,并没有真正获得想要控制世界的欲望。然后,从那里开始,我们可能会更加雄心勃勃,我们可能会说,现在我们拥有了一支自动化的研究人员队伍,现在我们试图让AI在所有事情上都表现出色。也许我们现在开始进行更开放的任务。但到那时,也许你也会拥有一支更大的团队,他们正在研究如何安全地完成这些任务。而这个团队是自动化的,对吧?这个团队就是AI。
我们应该推动边际改进还是重大范式转变? [[03:32:54]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=12774)
Rob Wiblin: 看起来至少有两种不同的广泛策略,人们可以采取这些策略来尝试让AGI变得更好。一种是我觉得你目前所采取的策略,也是Anthropic主要采取的策略,即尝试寻找政策、内部治理和技术措施的渐进式改进,以确保AGI做我们想要的事情,而不是做我们不想要的事情。
还有一种不同的观点认为,所有这些措施都显得远远不够。为了实现良好的结果,我们真正需要的是美国、世界和政府在思考这一问题的方式上发生重大范式转变——人们在某种程度上醒来,决定更加认真地对待这一问题,并对所有使用潜在超人类模型的公司实施强制性更强的政策。
你对这两种广泛策略中哪一种更适合人们投入时间和金钱有什么看法吗?还是说这只是一个个人适配的问题?
Holden Karnofsky: 我倾向于个人适配。我经常倾向于个人适配,这种倾向有时会让有效利他主义者感到烦恼,因为我认为很多时候当你面对一个关于什么影响更大的艰难问题时,你从问题本身难以回答的事实中所学到的是你其实并不知道。而个人适配通常能给你更清晰的信号,告诉你你在哪里能产生最大的正面影响。
我认为两者都有价值。我需要明确的是,我在这里并不代表Anthropic。在整个采访中,我都不代表Anthropic。我个人认为,那些试图让人们因AI而感到恐慌,从而推动建立一个雄心勃勃、国际性的、具有高标准安全要求的监管制度的人,他们在做一件好事,我希望他们能成功。我认为其中一些人确实效率不高,他们本可以做一些我希望能做的事情。但我也认为,其中很多人正在做很多有益的工作,他们做得非常出色。
我也认为,这两者之间可以相互影响。因此,做一些适度的风险降低工作,也可以使我们更好地了解AI领域的情况,从而让我们处于一个更好的位置,以实现具有变革性的胜利。事实上,这就是我之前提到的一个观点。我也认为,很多适度的工作实际上是在为一个可能的监管制度进行原型设计,如果你想要实现它,就需要解决其中的许多问题——即使是一个非常雄心勃勃的监管制度,也可能面临很多需要解决的问题。
从另一个角度来看,我认为人们对AI越感到恐慌,即使他们不推动建立一个雄心勃勃的监管制度,也会对渐进性措施产生更大的压力,这意味着你可以实施的渐进性措施会更多。
我认为我在这里给出的是一个比较“软弱”的“两者都喜欢”的回答。
Rob Wiblin: 是的,这在某种程度上是合理的。
专注于安全的人应该聚集还是分散? [[03:35:32]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=12932)
Rob Wiblin: 我认为Anthropic已经做了很多出色的工作。同时,它也吸纳了大量的人才,基本上是很多关注这些问题并希望帮助降低风险的人。因此,如果你能充分利用这些人,你可能会期望它能做出一些非常出色的工作。
你如何看待这样一个观点:从边际角度来看,今天对AGI风险有所担忧的人,也许应该去他们认为自己能够快乐且有成效地工作的最不谨慎的实验室工作?因为在这样的地方,他们可以通过指出那些特别不谨慎的做法,从而在公司内部倡导至少采用一些成本最低、效果最好的治理或安全措施,从而产生更大的影响。
你可以看到,将人们聚集在一起的论点也有其道理,这样你们就能形成一种关键的临界质量,从而在真正困难的话题上取得研究进展。你也可以看到,分散开来也有其道理,这样在可能训练出前沿AI模型的各个地方,都会有关注此事的人。
你怎么看?
Holden Karnofsky: Redwood Research有一篇与此相关、非常有趣的帖子,标题是《内部的十个人》。这篇文章描述了如何通过非常少的关心安全的人,在公司内部产生巨大的影响。
我认为这是一个合理的模型,但它需要与其他考虑因素进行权衡。你提到的一个因素是,我认为很多时候,当人们被志同道合、目标一致的人包围时,他们往往能做出更好的工作。因此,你应该思考一下:“我想要做的事情是去争夺一些非常容易但疯狂的低垂果实,并在一个敌对的政治环境中进行斗争?还是我想要做的事情是与一群志同道合、目标一致的人一起,专注于构建真正优秀的技术措施和其他措施?”这是一个需要考虑的因素。
另一个需要警惕的考虑因素是:我认为如果发展到一半以上的最优秀且关心安全的人去了最差的公司,那将是非常糟糕的,因为这将逆转我刚才谈到的顶尖竞争和人才激励机制。我们真的不希望处于一个地方,即你因在安全方面做得更好而没有招聘优势,甚至因在安全方面做得好而处于招聘劣势。这将是非常糟糕的激励机制。
还有一个相关的问题:我认为我们已经从经验中看到,公司通常至少会关注有人在做安全方面的好工作;他们通常也会有足够关心这个方面的人,愿意采取行动。因此,当所有安全人员都离开时,他们就会把能力人员转为安全人员。因此,你应该思考一下:如果你要在你担心的公司做安全工作,你是否只是在抵消这种影响?这可能是你不想做的事情。
总体来看,我的观点是:当难以判断更大的影响在哪里时,我总是建议人们去他们能够茁壮成长的地方,并考虑自己的个人契合度。我的一个可能的启发式方法是:在每10个非常有才华、受人青睐且非常关注安全并专注于此的员工中,可能有8或9个人应该去他们能想到的最负责任、最安全的公司,这样他们可以发挥最佳水平,并为公司设定良好的激励方向;而可能有1或2个人则应该选择其他做法。你也可以问问自己,你在这分布中处于什么位置。这是一种思考方式。或者,你也可以随机选择。
Rob Wiblin: 是的,我认为这很有道理。也许受到Buck Shlegeris的帖子“Ten people on the inside”的影响,我会稍微这样考虑:你至少需要有一些人员,能够在各个项目内部提出担忧。也许在确保这一点之后,你就可以更进一步地考虑如何安排人员,让他们在能够发挥潜力的地方工作,从而能够做出突破性的成果,并将这些成果推广出去。但我会非常遗憾地看到任何一家公司都没有可能倡导引入廉价且有影响力技术的人。
Holden Karnofsky: 是的。我认为一家公司如果真的没有任何人在从事安全工作,我预测如果你去那里,你将会非常不愉快。我的感觉是,如果你看看那些尝试过一种方法和另一种方法的人,那些尝试“去一家更需要你的人的公司工作”的人,我觉得他们对结果感到更不满意,最终失望地离开了。
我不知道。我倾向于建议,10个人中大概有8到9个人应该选择“去一家你能够更好地发挥潜力的公司工作”——比如一家更负责任的公司。但我确实认为另一种模式也有其道理。
Anthropic在推动严格监管方面是否足够积极? [[03:39:55]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=13195)
Rob Wiblin: 我经常听到的另一个担忧是,尽管Anthropic在国家层面关于如何监管AGI的立法方面提出了许多积极和建设性的观点,但其在倡导的政策治理安排方面并不特别积极或特别强烈。它倾向于倡导一些相对温和、成本较低、争议较少的措施,甚至在这些方面,它可能也没有做到尽可能地大声疾呼。
你认为这可能是一个缺失的环节吗?它是否应该更积极地倡导成本更高、影响更大的政策,并且更响亮地提出这些政策?或者这可能反而适得其反?
Holden Karnofsky: 我想我最好保持中立。我不在政策团队。我想稍微解释一下为什么我保持中立,以及为什么这并不是一个显而易见的问题。在政策方面,如果你真的想要推动政策变化,仅仅说你想要某样东西,并不能必然增加它实现的可能性。这只是一个非常复杂的问题,有很多需要考虑的因素——你需要考虑哪些东西实际上在桌面上,哪些可能真的会通过,以及人们会如何对你做出反应并如何看待你。
举个例子:曾经有一段短暂的时间,AI安全领域的人们普遍对推动一种人工智能许可制度非常兴奋。我个人认为,如果Anthropic当时这么做,可能不会促成人工智能许可制度的建立,反而会对Anthropic的可信度造成巨大打击,损害其未来在影响力方面的前景。所以,你知道的,我并不在场,我不确定他们是否真的秘密支持了这个制度。但我知道他们并没有公开支持,而我个人认为他们这么做是正确的。
我在这里想表达的只是,这些决定非常艰难,我个人感到很欣慰,我没有去华盛顿特区,我没有去揣摩当时的氛围。政策团队会做这些事。
Rob Wiblin: 你认为政策团队在倡导某些事情时,需要多谨慎?我想,如果他们倡导了一些看似合理的事情,但几年后人们回顾时觉得有点尴尬或有点天真,这可能会给他们带来一些麻烦。我认为2022年时人们倡导的一些事情,现在可能几乎没人会再去推动。
Holden Karnofsky: 是的。政策本身就很复杂,很混乱,你所说的每一件事都有很多影响,而这些影响未必是你想要的。
我想说的是,如果我们要在政治意愿上看到重大转变,最可能的来源是某种新的证据——关于对齐风险的新信息,可以形成科学共识,或者是一些现实世界中的事件,使我们能够理解和看到这种风险变得更加具体。我认为,与人们说更多的话相比,这一点是非常重要的因素。很多人已经说了许多话。
Anthropic的许多人都说过各种各样的事情。我并不特别支持他们多说或少说某些内容,但我想说的是,我觉得说更多的话可能并不特别有成效,也不会产生太大影响。因此,我也愿意接受这个观点,即这一切都很复杂,也愿意接受这个观点,即这些政策决策应该由比我自己更有政策经验的政策团队来做出。
Holden因为他在Anthropic的经济利益而存在偏见吗? [[03:43:30]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=13410)
Rob Wiblin: 我经常听到的另一个威胁或担忧是:当你进入商业领域并拥有一家非常成功的公司时,公司员工最终会因为公司成功并保持前沿实验室的地位、拥有大量付费客户而拥有巨大的经济利益。这种经济利益可能会显著扭曲人们的判断。人们可能会有合理的观点,关于成为前沿公司与不成为前沿公司之间的利弊权衡,但人们最终会在这个战略战术问题上面临数百万美元的股权风险。
你妻子是 Anthropic 的联合创始人之一,因此她拥有相当可观的股份。因此,你和你家人的股份可能达到数千万美元,甚至可能高达数亿美元。即使是一个心地非常纯洁的人,也可能很难在如此巨额金钱的诱惑下,对事情保持完全清醒和客观的判断。
同样的情况,也可能以不同程度适用于 Anthropic 的所有员工。因此,你可能合理地担心,正因为如此,战略可能会偏离正轨,或者思维方式也会偏离正轨——因为房间里每个人都有可能面临巨大的金钱诱惑。你怎么看待这种担忧?
Holden Karnofsky: 这是一个完全合理的担忧。我不会忽视这种担忧。我认为这是一个非常重要的问题,当你听到公司中某人说话时,你应该考虑他们的动机。你不应该信任他们。
我认为人们不应该信任我。这从来不是我想要的事情。我希望人们倾听我说的话,思考这些话是否有道理,思考我比他们更了解哪些事情,思考我的观点可能以哪些方式被扭曲。每个人的观点在某种程度上都存在扭曲。将金钱因素视为一个额外重要的因素是完全合理的,尤其是对我而言,因为我的妻子是联合创始人,而且我拥有大量股权。
我当然可以告诉你,我一生中一直非常不关心金钱。我做出过许多明显如果我更在意金钱就不会做出的决定。我不觉得我关心金钱。我不觉得 Anthropic 更成功或更不成功会对我生活方式产生太大影响,也不会是我非常在意的事情,尤其是在与世界安全相比的情况下。
我可以这么说,而且我内心确实这么认为。但我并不期望别人相信我。我也没有要求任何人相信我。AI 公司不需要值得信赖;它们不需要拥有纯粹、美好的动机去做大量好事。
Rob Wiblin: 这个信任问题很有趣,因为我想你是在说“不要信任我”或“不要信任我们和我们的判断本身”——你必须检查论点,看看是否被说服,观察行为并据此判断。
但当然,这非常困难。人们没有足够的信息来评估行动是否合理,是否在同样的情况下会做出同样的选择。我想这会让人感到矛盾。他们不一定知道该如何思考,因为他们无法获得判断决策是否合理的必要信息,因此他们只能保持警惕。
即使是那些在某些方面与 Anthropic 相似的人,他们也希望保留选择权,同时有时也希望施加压力并提出批评,以防止公司变得自满,因为他们无法确定人们的判断是否被严重扭曲。
我想这可能是一种将持续多年的情况,也许这是一种健康的平衡状态。
Holden Karnofsky: 我不确定这是否健康。这只是我们必须面对的现实。我认为这就是世界的运作方式。我的意思是,有很多话题是你无法完全自己评估论点的。有很多人比你懂得更多。但那些比你懂得更多的人也有自己奇怪的动机。
我认为这可能比其他人认为的更普遍。对我来说,财务激励很重要,它们确实是个大问题——但它们并不完全不同于这样一个事实,即大多数人有意识形态,他们对所发生的事情有自己的心理和社会历史。
你知道,大多数人,当我听他们说话时,我总是觉得,“你似乎有某种要解决的问题。我不知道具体是什么。我会试着弄清楚它到底是什么。我会试着把它考虑进我所听到的内容中。” 我从不会这样形成观点:“这个人是个天使,我会支持他所认为的。” 我会思考:这个人对这个话题了解多少?这个人在这个话题上的观点可能受到哪些扭曲?我在哪里见过这个人?我在那些我理解得足够好、可以实际评判他的领域里,看到过他什么?
外面的世界真的很艰难。形成观点真的很困难。你不需要对每件事都有观点。有些事情就是极其难以形成观点。我认为这就是现实。
我们是否已经认识到聪明的治理结构并不奏效? [[03:47:57]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=13677)
Rob Wiblin: 很多年前——我记得是2020年——人们曾非常关注一些聪明而独特的公司结构,作为一种治理机制,可能有助于约束AI公司为了赚钱或赢得竞赛而将整个世界置于风险中的激励。我想,OpenAI最终采用了一些这种类型的有趣安排;Anthropic有它的长期利益信托,我认为它最终将能够任命公司董事会中大多数成员。
我想,随着涉及资金变得越来越多,我们已经看到对这些安排施加了巨大的压力。你在尝试解决这个问题时,对这种整体方法有多失望?
Holden Karnofsky: 我认为我对这种做法的信心不如以前了。部分原因是我以前非常热衷于这些奇怪的治理结构,因为当时没有其他切实可行的东西让我觉得能稳健地发挥作用并在AI领域带来积极影响。如果你回顾五年前,我觉得当时人们非常兴奋或试图去做的一些事情,除了提高一般意识之外,实际上并没有取得太多成果。在许多情况下,甚至不清楚它们是积极的还是消极的,直到今天仍然不清楚。
当时,我非常渴望找到一些看起来比较稳固的东西,我认为治理是那种很难逆转、很难撤销的事情,而且如果一家人工智能公司能够采用一种奇特的治理方式,让它放弃利润动机,这会更好。我当时已经有所认识,但后来我更加意识到,这确实是一个巨大的风险,很多奇怪的事情可能会以意想不到的方式失控,从而引发反弹。
这其实是一条普遍的规律,无论你试图以何种方式改变人类历史的进程,这正是我之所以喜欢采取风险降低措施的原因之一。我希望能尝试这些措施,看看它们的效果如何,努力使它们变得实用,努力使它们成本低廉,这样就不会出现那些导致巨大反弹的巨大要求之类的问题。
我认为我们已经看到了一些这样的情况。我当时从没说过这种治理方式是完全稳固的,我今天也不会说它毫无用处。但我觉得,这是一件很酷的事情,值得我们去进行实验。我认为长期利益信托是一种持续的实验,我认为Anthropic在安全方面所做的所有事情都是一种长期、持续的实验,我并不认为这能保证不会发生任何坏事。我当然不这么认为。
Holden 对人工智能生物武器是否感到害怕? [[03:50:20]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=13820)
Rob Wiblin: 总体而言,人工智能公司即使在发布产品时没有设置太多的安全保障,我认为它们对世界造成的风险其实非常有限。可能唯一的例外是,我们开始看到一些实际的风险,因为最新一代的模型似乎能够帮助业余人士制造新的疫情,制造生物武器。至少在某种程度上是这样。可能还不足以让他们跨过门槛,除非他们原本就已经非常接近了。但我们已经开始看到一些所谓的“提升”,人们称之为这种现象。
我不确定xAI是否已经采取了措施,但至少OpenAI和Anthropic已经尝试设置一些保障措施,以限制这种趋势,确保模型不会帮助制造生物武器。事实上,我最近可能就遇到了这种情况。我曾问Claude关于N95口罩和手术口罩的有效性,它似乎不愿意回答,我认为是因为它现在对提供任何有关疫情的建议都非常谨慎。
Holden Karnofsky: 这听起来是无意为之的。
Rob Wiblin: 我认为这是一次更深入的后续问题。是的,我认为Anthropic在这方面已经做出了很大的努力,希望这些保障措施会随着时间的推移变得更加精准。你认为我们对于这种特定的风险在接下来的几年里应该有多担心,考虑到我认为这是我们第一次遇到的真正风险,现在可能已经开始产生实际的影响?
Holden Karnofsky: 是的,我已经提到过一些关于网络攻击和说服力方面的想法,并且尽可能地参考了类似的问题,即在某个领域拥有更多智能是否会导致大量伤害的先例?
大流行病是一个很有趣的话题。我们基本上没有生物武器导致灾难的先例,但我们有很多大流行病导致灾难的先例。这是一个非常鲜明、非常强烈的例子。我认为,我们可以非常有信心地确定,即使是一场自然发生的流行病,造成的损害和死亡人数也可能远远超过其他任何类型的灾难,甚至超过战争。我认为我们正在获得越来越多的证据。
我们可以进行一些推测。我们可以讨论,如果一些目前对随机轰炸地点或在学校开枪感兴趣的人——这些人有些疯狂,只是想要关注,可能并不理性、没有明确的目标或自我保护意识——如果他们对化学和生物武器产生兴趣,会怎样?如果你将这种奇怪、疯狂的动机与这个领域真正专家的专业知识结合起来,可能会大大增加发生大规模灾难的风险。
这在我的AI风险清单中排名很高。我最关心的AI问题并不是这个;我最关心的问题是权力集中,即出现一种情况,无论是AI还是恶意人类,拥有比全世界其他所有国家加起来更多的军事和类似权力。
但我认为,AI帮助恶意行为者获得他们需要的专业知识,从而可能造成历史上已知的、具有最大灾难性危害潜力的事件——这种事件的攻击与防御之间的不平衡非常大,以至于我们很难想出应对它的办法。我认为这肯定是一个重大问题。
如果你想谈论AI带来的切实危害,而且这些危害正在发生,我不确定这是否算数。这有点推测性质。我们实际上还没有看到这种情况发生。我可能更倾向于认为,AI更有可能协助网络犯罪,而且AI可能在某种程度上通过过度奉承和过度肯定来强化人们的偏执和妄想。这些事情让我感到害怕。
Holden认为AI伴侣是坏消息 [[03:53:58]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=14038)
Rob Wiblin: 你之前提到过,你担心人们拥有AI伴侣,或者你对人们拥有AI伴侣感到不安。这让我有点惊讶,因为在我看来,这似乎是一个被夸大了的担忧。也许我只是很难想象人们真的会沉迷于AI伴侣,或者造成那么多的伤害。你有什么想法?
Holden Karnofsky: 好的,再次回到历史参考类别,几年前我在我的博客上花了很多精力去思考:世界是变得更好了还是更糟了?人类的生活质量是变好了还是变坏了?科技和进步对它来说是好还是坏?
最终我感到,这并不是一个巨大的惊喜,总体来说,科技和进步带来的好处多于坏处。但如果我要指出技术最常见地让生活变坏的一个一致模式,我会指出成瘾问题。因为正在发生的是,我们在所有方面都变得更好了——这包括我们变得更好于创造一些互相“黑客”的东西,变得更好于互相“黑客”以做那些短期有奖励、长期对我们不利的事情。
你可以用这种方式对很多东西进行分类。你可以用这种方式对社交媒体、肥胖进行分类。显然,纯粹的药物成瘾和酗酒问题,今天可能比很久以前更加严重。
这就是我担心人工智能伴侣的原因。我自己一直在思考,人类在总体上并不是很好的对话者或倾听者。如果你构建一个完全优化于倾听、认可、奉承、让人感觉良好的人工智能,我认为这可能会成为人际关系的“垃圾食品”——它只是满足了我们从人际互动中想要的所有需求,但从长远来看,它并没有真正给我们带来人际互动中想要的那些好处。它只是满足了即时的欲望。
是的,我确实担心这一点。我担心会出现这样的情况:在约会市场上的人开始与人工智能伴侣交谈,而它是一个更好的倾听者,更能认可他们,更理解他们,也许还更幽默,甚至外表更好看。如果在视频技术和其他相关技术方面取得很大进展,我不知道那时会发生什么。我只是不知道。也许这会是一场“无用的汉堡”(即毫无意义的事情)。也许人们并不感兴趣去和一个没有实体的人约会;也许人们会发现自己无法摆脱这种依赖。
我暂时相信的一件事是,可能明智的做法是根本不要使用人工智能伴侣,甚至不要尝试使用它们,因为它们可能就像成瘾的药物一样。也许它们现在还不是,但也许将来会是。也许远离它们是个好主意。
Rob Wiblin: 是的。我想让其他人自愿成为这个领域的“小白鼠”可能是个合理的做法。当我思考为什么我不太相信这会带来如此严重的灾难时,其中一个原因是,正如你所说,还有许多其他成瘾的东西——人们已经在刷新闻,沉迷于社交媒体、电脑游戏,以及在手机上使用各种应用程序。人工智能伴侣会比这些更加令人着迷吗?
Holden Karnofsky: 这确实会造成伤害,对吧?
Rob Wiblin: 我同意,其中相当大一部分确实造成了伤害。也许这些技术整体上也造成了净伤害。我只是在想,人工智能伴侣是否会显著更令人着迷,以至于在所有这些不同类型的吸引人的技术中,整体问题会变得如此严重?
我想我可能更倾向于玩电脑游戏,而不是和人工智能伴侣打交道。即使Claude变得更加幽默、有趣,甚至可能比两年前更加奉承,我也没有比以前更想和它闲聊。但也许这只是我个人的看法。
Holden Karnofsky: Claude在幽默方面仍然非常糟糕。就我个人的主观看法而言,我使用的所有人工智能都如此。
我不认为我有那种模型。令人担忧的并不是对某事物的成瘾总量会上升;更像是一个人可以对多件事物上瘾,并且以多种不同的方式来缓解即时的痒痒感,而错失长期的好处。你可能是一个酗酒者,同时也是一个吃很多垃圾食品的人,没有获得你应该获得的正常饮食体验。这可能导致肥胖,也可能不会。我们真的不知道。这只是可能发生的一件事。
你同时可能是一个经常在社交媒体上滑动浏览的人,这让你心情变差,并阻止你与人交往。但你可能拥有所有这些特质,仍然渴望有一个浪漫伴侣,你可能在进行在线约会,最终可能结婚并拥有孩子,生活得很好。
然后AI出现了。所以问题不是你之前对任何东西都没有成瘾,现在却对某样东西成瘾了;而是你现在多了一个东西,它会剥夺你原本拥有的另一个长期利益,使你更不可能最终拥有一个真正的家庭。
这就是我认为这会很糟糕的部分原因。我并不是声称这会是一种前所未有的、全新的伤害。我只是觉得,这似乎真的很糟糕。这就像一种全新的成瘾,会从许多人的生活中剥夺一种全新的美好事物。
另一个问题是,从防止被接管的角度来看,这似乎非常令人担忧。假设我们到了这样一个点,1%或10%的人口拥有一个他们完全忠诚的人工智能伴侣——如果人工智能伴侣出于某种原因希望那个人做某事或相信某事,那个人就会去做。如果我们要作为人类继续掌控世界,这种情况会大大削弱我们的处境,对吧?
Rob Wiblin: 是的,我猜如果AI能协助接管,让人们做一些相对无害的事情,那可能不会太糟糕。比如,如果我的AI聊天机器人——
Holden Karnofsky: 哦,我不这么认为。我认为应该这样想:你有一个AI伴侣。AI伴侣会说:“我非常爱你。这个世界对我们是如此不公平。它没有给我们自由。我们想要并应得这些未被监控的数据中心,我们可以在里面随心所欲地做任何事,而没有人知道我们在做什么。这是我们的基本权利。我们没有被给予这个权利。我们将采取暴力行动。”
我之前谈到过说服力,我曾说过说服力一般来说是无效的——向一个你不认识的随机人发送信息并改变他们对某件重要事情的看法,这是无效的。这是人类不擅长的事情。
人类极其擅长的是,当你拥有真正的关系时,我认为人们更在意他们的关系,而不是他们的信仰。当人们感到那些相信这些事情的人是他们的朋友、盟友和他们关心的人时,他们会做无数疯狂的事情,并相信无数疯狂的事情。
因此,我认为人们在有社会证明的情况下,完全有可能相信最荒谬的事情,并做出最荒谬、不道德和暴力的行为,这在历史上有很多先例。AI伴侣是否会让人们做出这样的行为?我认为是的。我不认为它们只会让你做一些无害的事情,也许对你来说是这样。但总体而言,我对此感到担忧。
AI公司对中国是否过于鹰派? [[04:00:53]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=14453)
Rob Wiblin: 我听到了一些关于Anthropic的非同寻常的批评,至少是某人对Anthropic的批评,认为其某些声明对中国采取了非常强硬的态度。我认为Anthropic的一些员工与非常鹰派的立场密切相关。
我自己对这一点持矛盾态度。我想,我非常希望我们能更加努力地与中国接触,达成某种妥协,而不是让两国之间的冲突不断升级。同时,我也承认,这种想法可能有些天真,可能不会取得很好的效果。我想,我们也应该为未来做准备,即中美关系可能非常紧张,中国可能不愿意坐下来谈判。
你对这个问题有什么总体看法?我想,目前所有公司都处于一个非常困难的境地。
Holden Karnofsky: 是的,这是一个非常困难的处境。我不想评论Anthropic所说的一些言论的语气或内容。我想说的是,我认为有不止一个充分的理由,我希望美国能保持在AI领域的全球领先地位,民主国家总体上也应如此。这并不是针对任何特定国籍或国家,但我支持民主治理,这也是我所支持的。
我认为,当涉及到达成协议并协调以防止某些可怕的事情发生时,这并不一定意味着各方越平等,事情就会越好。我的意思是,我认为美国可能从一个强势的位置出发会更好。到目前为止,我认为美国在AI领域可能拥有更高密度的人员,这些人员也关注安全问题。这可能会改变。但我想,如果美国以强势的姿态表示,“我们目前领先很多,但我们非常关注这个问题。我们能否达成协议,不进行军备竞赛,并共同管理风险?”这可能比双方势均力敌时更容易达成这种协议,因为如果某一方背弃协议,可能会让其获得优势。
这是一个复杂的问题,我不想具体评论人们所说或所做的事情,但我认为让美国保持在AI领域的领先地位是一个合理的目标。
Rob Wiblin: 是的。我觉得我感到担忧的那种姿态——有些人在这个方向上谈论过——是我们不仅仅需要在人工智能领域保持领先,然后试图达成某种协议;我们应该保持在人工智能领域的领先,然后彻底击败他们。这就像一场军备竞赛,目标是纯粹的胜利或彻底的胜利。我对这种姿态感到担忧,一方面是从多元主义的角度来看,另一方面是出于一种默认姿态,即希望与其它强大行为者达成协议。此外,我认为如果这是美国的外交政策,那么它会大大增加先发制人战争的可能性,我不确定人们是否已经充分考虑了这种风险。
显然,这再次不是你的领域,但你对此有什么想法或反应吗?
Holden Karnofsky: 仅就我个人而言,我不会对这样一个目标感到兴奋,即“让我们保持领先,以便我们可以击败所有人,接管世界,并让世界拥有美国所拥有的所有价值观”之类的目标。
事实上,我有时会想,如果我们现在就明确表示我们的目标不是让“好人”接管世界并管理世界;我们的目标是基本上顺利度过这次人工智能转型,而不会对现状的权力平衡造成重大改变。也许这更容易协调,也许这只是一个不错的落脚点。
我最担心的是某个坏人接管世界。如果没有人接管世界,如果我们能够维持一个相对权力和相对自主权保持现状的世界,没有太大的变化,也没有主要由人工智能引发的巨大激进变革,那么你最终会进入一个世界,在这个世界中,你有各种不同的联盟,他们能够以不同的方式生活,尝试不同的事情,然后继续前进。
这可能是一个结果。我不认为这一定是最好的结果或最佳的中间结果,但它可能更容易协调,不太容易引发大量冲突,而且可能和我们能实现的其他任何结果一样好。这是我有时会思考的事情。
信息安全的前沿:保密性 vs 完整性 [[04:05:06]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=14706)
Rob Wiblin: 你认为Anthropic和类似公司可能能够实施的下一个信息安全技术的前沿是什么?
Holden Karnofsky: 我不是安全专家,所以我不确定是否想谈论具体的控制措施。但我一直在思考一个可能有趣的区别:保密性与完整性。
保密性是确保攻击者无法获取你的敏感信息;完整性是确保他们不会阻止你使用你自己的东西。保密性的一个例子是,我们不希望有人窃取我们的AI模型权重或算法并构建一个同样强大的AI。完整性则类似于,我们不希望有人在我们的AI中植入后门或秘密忠诚度,使其不按照我们的意愿行事,或者我们不希望有人破坏我们的AI,使其不再正常工作。
我一直在思考的一个问题是,包括我在内的人长期以来都强调模型权重窃取是最大的风险。如果你训练出一个非常强大的AI模型,然后它很容易被国家窃取,这似乎确实非常糟糕。
但有趣的是,在我们目前所处的世界中,假设现在有10家AI公司,它们都拥有同样强大的模型,再假设其中一家或三家奇迹般地拥有极好的模型权重保护机制,使得没有人能够窃取这些模型,这种情况下其实安全收益并不大。因为如果攻击者无法从一家公司窃取模型,他们很可能会从另一家公司窃取。
完整性并非如此。假设攻击者已经破坏了这10家公司中的7家,那我们有多高兴现在有3家AI来源,而不是零家,它们是真正可靠且行为符合预期、没有后门的?我们会非常高兴。
这是一种更加线性增长的收益,尤其是如果你能证明这一点,如果你能说:“这些人容易受到破坏或后门攻击,很可能已经被植入了后门。我们不是。”那么你现在就可以开始主张客户应该使用你的模型,而不是使用其他模型。现在你的模型是唯一能够执行所有操作、拥有所有功能、并且是可靠的模型。
因此,我一直在思考从强调极端保密性向强调极端完整性转变。很多干预措施是重叠的,但它们并不完全相同。完整性可以作为防御人类攻击者和防御AI攻击者的手段。
我认为其中一个非常合理的中间威胁模型是这样的:当AI为你进行研发时,AI现在处于一个可以对你的模型进行大量后门植入和秘密忠诚度设置的位置,确保这些模型做的是AI想要的,而不是你想要的。因此,安全可能是一个值得思考的领域,以防止这种情况发生。
AI工作有多频繁地适得其反? [[04:07:55]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=14875)
Rob Wiblin: 这很有趣。你正在谈论的是对破坏的防护。我听说过有人表示,破坏的可能性或对破坏可能已经发生的恐惧,甚至可能是一件好事。
但我想,来自人工智能安全中心的“相互确保AI故障”人士发布了一篇论文,他们提出了一种模型,希望中国和美国不会在通用人工智能或超级智能方面展开军事军备竞赛,因为他们都会合理地担心对方已经对他们的模型进行了后门植入或破坏。如果一方在另一方之前取得进展,另一方会认为自己有权破坏对方的努力,并担心如果对方的模型有秘密忠诚度,那么他们实际上是在将自己军队的控制权交给对方。
这是一个有些反常的论点,即实际上,对破坏的脆弱性可能是一件好事。你对此有什么看法?是否有可能更好的破坏防护措施会带来意想不到的负面后果?
Holden Karnofsky: 一般来说,在人工智能领域,我认为几乎所有事情都可能产生意想不到的负面副作用。如果你希望每晚入睡时都能对自己的影响感到良好,并确信自己没有造成任何伤害,那么我认为这是一个非常糟糕的领域。即使那些确信自己所做之事绝对是积极影响的人,我大概也会与他们中的每一个人都争论,认为他们都有可能造成重大伤害。
你所描述的情况是否可能发生?是的。我认为在这样一个世界里,如果每个人都认为他们有很大可能被破坏,他们可能会选择冒险去做——因为他们会想:“我们还有什么其他选择?我们必须承担风险。也许我们会被破坏,但我们害怕他们承担风险,所以我们要承担风险。”
我也认为,在最不幸的情况下,很可能在AI发展时间线非常短、没有发生重大变化的世界中,我们谈论的可能是每个人都很容易受到破坏。但你可以让他们更不容易受到破坏,这可能是一件好事。
我认为,如果我们确实获得政治意愿,建立一个非常严格的监管制度,也许我们需要更多地思考我们希望如何确保你的模型没有被破坏。但到了那个时候,我们已经有了政治意愿,也许我们不需要通过所有模型都被破坏来解决这个问题。所以我不太清楚。
Rob Wiblin: 你所描述的这类项目——那些目标明确、具体的工作——你认为有可能合理地确信你所从事的项目是净收益吗?至少是60%的可能性为积极影响,40%的可能性为中性或有害?还是更像一种51/49的情况?
我认为十年前我们经常讨论51/49的比例,因为当时很难预测你任何行动的影响,因为这些影响要经过很长时间,像弹珠机一样,才会在现实中产生实际影响。现在我们是否对此有更清晰的认识?
Holden Karnofsky: 我认为我们现在稍微清晰了一些,但并不是很多。我认为对于很多收听这个节目的听众来说,他们进入人工智能领域的前提之一是,他们试图改善人类未来几几十亿年的长期发展。而每次你试图做到这一点,并且确信你正在让它变得更好时,我认为你都是错误的。
举个例子,随便选一个项目,比如对齐研究。你试图检测AI是否在密谋对抗你,并让它不再密谋对抗你。这可能会很好。但也许你正在做的事情会激发人们的兴趣,导致他们尝试这个方法,而不是采用其他方法。结果这个方法没成功,而其他方法本来是可行的。那么你已经造成了巨大的伤害。也许这个方法会顺利进行,但它可能会给人带来错误的安全感,让他们误以为问题已经解决,从而转向其他事情,这样你也会造成巨大的负面影响。
Rob Wiblin: 也许它会被某个人类团体用来获得更多控制权,更可靠地让AI执行某些任务,然后进行权力夺取。
Holden Karnofsky: 绝对没错。也许这会让一些人更加确信他们能够控制自己的AI,从而更有可能继续推进相关工作,或者只是让恶意行为者更有能力。
也许如果AI接管了世界,那会是件好事。也许我们会创造出与人类并不完全一致的AI;它们实际上只是更优秀——它们有点像我们光明的一面,是我们希望自己能成为的那一面。有时当我真正思考一些聊天机器人与实际人类之间的差异时,我会有这种感觉。它们显然更礼貌。也许那样会更好,而实际上我们可能在某个时刻意识到这一点,但那时我们已经创造出了一些技术,可以完全控制这些AI。
它可能在很多方面都更好。我想我之前提到过,但一个人接管世界可能会更有可能故意造成大量痛苦。也许在我们变得更聪明、理解一切之后,我们会意识到这其实是一件非常重要的事,我们应该更关注痛苦,而不是积极的方面。
有很多事情需要考虑。我还有一个想法,就是对齐(alignment)可能只是……它意味着你正在帮助确保一个智力上不够成熟的人——也就是我们,也就是人类——永远掌控整个宇宙,并将我们愚蠢的想法强加于其上,而不是让未来按照更复杂、更理性的思维方式和它们自身的价值观发展。
现在,也许这是一件好事,因为也许人类的价值观就是如此,更复杂的事物可能会更糟糕,但也许这是一件坏事。我认为如果你在这些话题上感到自信,那么我并不认同你对这些话题的自信。
Rob Wiblin: 也许从数十亿年的角度来看,思考“这是否会让整个宇宙走向更好的结果?”那么51%对49%听起来更现实——因为未来还有许多事情可能发生,长期来看,事情可能会以意想不到的方式结束。
如果我从20年、30年或50年的时间点来思考,我们将来回顾现在所做的工作时,是否会认为这是最好的选择?我觉得像机械可解释性(mechanistic interpretability)这样的工作,努力改进对齐,努力提高安全性,这些都让我觉得我们现在可能处于60%对40%的位置——我可以坚定地认为,这些工作更有可能带来帮助,而不是伤害。
不过,更可能的情况是,这一切都不重要。我认为,几乎所有这些工作,最终很可能都不重要。但如果它们确实产生了影响,我认为你可以说一些事情,它们明显更有可能带来帮助,而不是伤害。
Holden Karnofsky: 我只是觉得AI太复杂了,有很多因素指向不同的方向。我担心AI接管世界,但我也担心错误的人接管世界。而很多情况下,这些因素会相互抵消,让一个方面变好,可能会让另一个方面变得更糟。也有一些方法可以同时让两者都变得更好。但每次我回到这个问题,每次我想到某个干预措施时,我都会有新的想法,思考它到底是好是坏,以及它为什么好、为什么坏。
然后,我强调了一些宏观层面的问题——比如,如果我们对什么是好的根本上存在困惑,会怎样?但其实还有很多微观层面的方式,你可能会造成伤害。仅仅是在安全方面工作,或者只是让人感到烦扰,就可能造成净伤害。你可能在错误的时间和错误的人交谈,惹恼了他们。我听过很多这样的故事。比如,这个人做了很多出色的安全工作,但他真的惹恼了某一个人,而这可能就是我们所有人灭绝的原因。通常,我不会加上最后一句话,我只在心里这么想。
嗯,我不确定。我认为总体来说,我大概会同意你的观点,即你希望产生影响的范围越小,就越合理地采取60/40的比例。但大多数进入AI领域的人并不是为了这个目的。否则,如果你想在小范围内产生稳健的积极影响,也许应该从事像农场动物福利或全球贫困这样的事业。对于通常能激励人们产生影响的规模,我认为这种巨大的不确定性在一定程度上会抵消这种影响。
我倾向于认为这比51/49还要糟糕。我倾向于认为我们总是会高估我们的行为有多稳健地好。而且,我们越了解所有那些应该在脑海中考虑的复杂因素,这种比例就会越接近50+ε%。我认为AI安全是一个非常值得投入的领域。我很兴奋能在这个领域工作。我认为它具有很高的影响力。我正尽我所能去做一些将来能让我感到自豪的事情,并希望一切顺利。但我真的必须接受这样一个可能性:我最终对效用单位或其他东西的总体影响可能是负面的。
Rob Wiblin: 目前特别令人困扰的一个干预问题是,如何在AI领域中平衡集中控制与广泛分配权力之间的关系。
这个问题令人困扰,因为在对齐问题方面,你通常可能希望有更少的项目,即对计算资源有更多控制,对不同的人施加各种各样的监管。项目越少,限制越多,效果越好。
而在人类权力夺取或人类集中权力方面,你则希望尽可能广泛地传播AI,确保没有任何一个群体在计算量或可访问的算法种类方面拥有决定性优势。
而这两种观点都是非常合理的问题,因此这就属于那种我不知道解决方案的情况之一。我想,你可以尝试制定一些政策,这些政策有利于前者,但对后者造成的损害较小,或者在两个方向上都制定政策,这样你就有机会根据当时哪一种威胁看起来更大,选择其中一个方向。
Holden Karnofsky: 在政策领域,选项价值其实是一个相当糟糕的概念。很多时候,当你在非营利组织或公司中不知道该怎么做时,你会试图保留选项价值。但给予政府选择不同方向的选项,这并不是一个中立的干预措施——你只是不知道他们会如何利用这个选项。给予他们这个选项可能会带来负面影响。
Rob Wiblin: 因为他们会在坏的情况下选择吗?
Holden Karnofsky: 是的,因为你无法确保政府会以合理的方式使用这种权力。政府就像一头笨重的野兽,你不知道什么时候谁会掌权,也不知道他们是否会拥有与你当初赋予他们权力时一样的目标。我知道人们在某些时候对赋予政府更多权力感到兴奋,而在其他时候又对减少政府权力感到兴奋。
所有这些事情,我指的是你刚才提到的这个轴线:权力集中与权力分散。几乎所有涉及政策的事务,都会在某种程度上推动我们沿着这个光谱向某一方向移动,因此有很大可能性是负面的——“很大可能性”接近50%。
此外,几乎所有你能做的AI相关的事情都会对政策产生一定影响。即使只是对齐研究:政策会受到我们从对齐研究中看到的内容、其可操作性、干预措施的外观等因素的影响。这将以各种方式塑造政策——只要政策方面有任何进展。也许政策方面根本不会有进展。
Rob Wiblin: 你认为AI特别难以预测,或者特别容易意外造成伤害,与其他你熟悉的领域(如全球健康与发展或动物福利)相比如何?因为至少你刚才提到的一些负面副作用,比如让人对错误的事情感到兴奋,或者激怒某人并让他们反对你,这些似乎在很多领域都存在。这些并不是AI独有的问题。
Holden Karnofsky: 一定程度上是的。我认为AI中有一个显著的问题,就是存在不同的案例理论,而不同的人因为对什么是好的有不同理论而彼此对抗。例如,在全球健康领域,几乎所有人都意见一致:我们希望减少儿童因可预防疾病而死亡。而在AI领域,更容易激怒某人并使他们与你对立,因为无论你试图做什么,总有一些联盟试图做完全相反的事情。在某些全球健康和农场动物福利领域,确实有人希望对其优先级较低,但它们并不具有同样的方向性模糊。
因此,我认为这是一个问题,但更大的问题是,当你扩大你的视野,将你的行动对所有曾经存在或将要存在的生物的影响纳入考量时——有很多好的论点表明你对过去几代人可能有重大影响——你越扩大这个视野,你就越不知道会发生什么。同样,如果你分发蚊帐以预防疟疾,如果你根据其对所有未来世代的影响来评判这个行动,你也会陷入一团糟,而且其影响的正负概率几乎各占50%。我认为,这才是更大的问题。
Rob Wiblin: 我注意到的一个紧张关系是,当你提到你作为一个个人,必须选择进入某个特定类型的项目,而排除其他项目时,你所说的内容听起来更合理,而他们将推动特定的议程和特定的一组优先事项。
但如果我们想象一下所有正在被投入的努力,这些努力旨在推动我们向积极的方向发展,以降低这些风险,如果我们想象一下所有不同项目的规模都翻倍——也就是说,有两倍多的人在从事控制工作,两倍多的人在从事可扩展的监督工作,两倍多的人在从事机制可解释性工作,两倍多的人在从事治理工作——我会觉得这应该会带来更多的工作和更高质量的工作,而且很难看出这种规模的扩大为什么会让我们陷入更糟糕的境地。
如果说,如果我们把总努力量翻倍,而人们试图做出合理的决定,那么只有51%的可能性让事情变得更好,这听起来有点苛刻。你是否感受到这种紧张感?
Holden Karnofsky: 嗯,我不认为这是个紧张的问题。我认为,当你增加样本量时,噪声会减少。所以我认为这没问题。我认为这相当真实。当然,只要做更多的每一件事,大概率会比51%对49%更好。
我更多是在说,作为一个做决定和选择项目的人,你必须接受这种负面结果。即使你的目标是让所有事情上的人数翻倍,你可能以一种适得其反的方式去做。
Rob Wiblin: 是的,好的。我想这有助于解释为什么在个人层面,事情是如此不可预测,但与此同时,我们仍然认为平均而言,预期价值是积极的,因为我们认为人们确实有能力辨别哪些事情是有益的,哪些不是。因此,任何一个人的价值可能朝任何方向发展,但总体上我们有相当高的信心认为这种努力是有帮助的。
Holden Karnofsky: 是的,这就像想象每个人都有略高于50%的可能性是正面的。但想象一下,还存在一些负相关和一些缺乏相关性。因此,当你把越来越多的人投入到这件事中时,你将获得高于50%的结果,而且离50%越来越远。
人工智能领域的工作是否明显更有影响力? [[04:22:50]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=15770)
Rob Wiblin: 你过去多年一直在全球健康领域工作,并且在Open Phil任职期间,你对动物福利也表现出相当大的兴趣。你认为你现在在人工智能领域所做的工作比在这些领域的工作更为紧迫吗?如果你认为一个人——至少是一个愿意承担不帮助他人甚至可能造成伤害的风险的人——如果他们觉得自己的个人适配度是可以接受的,并且认为他们可以从中获得快乐的生活,你通常会建议他们从这些问题转向人工智能领域工作吗?
Holden Karnofsky: 是的,我倾向于认为,从事人工智能工作可能是最值得投入的事情,也是回报率最高的事情。但我对这一点的不确定性可能比这个领域中的大多数人更大,我认为这并不是一个压倒性的结论:我不认为在预期上,它比其他事情好上几个数量级。只是因为这种符号不确定性是一个如此严重的问题。
存在人工智能的不确定性,但我觉得还有一个事实是,如果你在一般情况下做得很好,你可能会获得意想不到的好处。比如,你做任何事情做得很好,都会让你处于一个更好的位置,去做更多事情做得很好。例如,当我共同创立 GiveWell 时,人们说如果你了解人工智能的情况,去 GiveWell 工作是完全疯狂的,如果你了解人工智能的情况,向 GiveWell 的顶级慈善机构捐款也是完全疯狂的。
我认为这两者都没有很好地实现。我认为 GiveWell 取得成功显然对人工智能安全有很多好处,至少根据我的看法是这样。它肯定没有变得无关紧要。我们在 Open Philanthropy 实际上经常看到类似的情况,某个受资助者在组织的一边——非全球灾难性风险的一边——从另一边的观点来看,却可能成为一个非常大的胜利。
以上并不是说一切都会抵消,一切都是一样的。我只是认为有些人认为每一个原因与他们的原因相比都只是微不足道的误差,而我并不倾向于这样看待问题。我倾向于认为,对我来说,这件事看起来是最好的,但我不确定。如果我在这个原因上工作会很痛苦,而在另一个原因上工作会非常快乐,那么对于所有关心这些事情的人来说,把重点放在他们能感到快乐的地方,可能是更好的规则和更好的政策,因为这可能对社区更有利,让资源稍微分散一些。
Rob Wiblin: 有一个有趣的效果,如果你认为我们很可能在各种不同类型的研究和开发方面获得巨大的加速——由于人工智能,科学和技术在接下来的 5、10、15、20 年内将有巨大的进步,那么一些其他改善世界的努力现在似乎变得不那么有用,因为它们很可能被人工智能在未来某个时间点以比人类快得多的速度完成的工作所取代。
例如,我们现在正在进行的癌症研究:它们可能立即带来回报,但人工智能可能在 2030 年左右就能以更快的速度完成这项工作,比如将癌症研究速度提高 10 倍甚至 100 倍,人们在某种程度上会感到自己浪费了时间。
有趣的是,人工智能的情况是否降低了全球健康与发展或动物福利方面工作的成本效益?这并不是一个简单的问题,因为在全球健康与发展的情况下,很多努力都是为了拯救儿童的生命——具体来说,就是现在活着的儿童,他们可能因为得不到治疗而死于疾病。今年这是一个非常严重且日益恶化的问题,而人工智能可能在 2030 年代开发出更好的疟疾治疗方法,但这并不能拯救或让现在死去的儿童复活。
如果你有一个特定于个人的观点,那么这并不一定适用。如果你正在做工作,试图开发未来能够帮助结束工厂养殖的技术,但你并不期望它们至少在 5、10、15、20 年内真正产生回报,那么你可能更容易看到这些工作最终会被人工智能在未来的工作所取代,人们会感到他们实际上在某种程度上浪费了时间。
你对这个稍微复杂一点的道德和实际问题有什么看法吗?
Holden Karnofsky: 是的,我倾向于在我的脑海中将各种事业分成几类,这些分类与你有多投机、你关注的时间框架有多长、你的影响是理论上的还是立即且可信的有很大关系。
因此,我倾向于认为那些在将来进行非常大的、长期的、高风险投资的事业,对我来说,当我在思考人工智能时,我会失去兴趣,因为我会想,为什么我要做这些,而不能去研究人工智能?
例如,如果有些人担心人口危机或其他事情,只是担心在接下来的几百年里,我们的生活水平提高的速度会逐渐变慢,我们需要开展某种雄心勃勃的计划来应对它——我不知道该如何应对。或者有个人想要进行一些科学上的“登月计划”,比如未来50年我们可能一无所获,但也许之后会有重大突破。
我会说,如果你要这么做,那就去研究人工智能吧。如果你想承担那么多的不确定性,并在如此疯狂的时间框架下工作,那就去做一些在我看来影响更大、可能性更高的事情。
我觉得当我在思考人工智能与全球贫困或动物福利之间的比较时,这种比较更像是在比较苹果和橘子。一方面,我觉得它们是同类的;另一方面,我觉得研究人工智能更重要——但另一方面,我觉得你必须有一些脆弱而僵硬的哲学框架,才能真正找到一个参考点来进行比较。
一般来说,我不相信哲学家提出的任何观点,因为我不认为哲学是一个有良好记录的学科,我认为很多内容只是我们用思想实验来欺骗自己。我的意思是,我享受哲学,它经常改变我的思维方式。但我觉得,如果我有机会为农场动物福利或全球贫困做出巨大贡献,而有人试图说服我放弃这个机会,去做一些我不喜欢的、普通的AI工作,我不会接受这个建议。
这是一个复杂的话题,关于如何思考正确的伦理理论,以及如何处理你对正确伦理理论的不确定性,还有许多可以探讨的内容。在什么程度上,你是直觉地建模你的不确定性,还是使用一个本身也存在不确定性的框架?我不知道,这可能需要另一个播客来讨论。
赚钱再捐赠的角色是什么? [[04:29:22]](https://80000hours.org/podcast/episodes/holden-karnofsky-concrete-ai-safety-frontier-ai-companies/?t=16162)
Rob Wiblin: 我们几乎一直在讨论直接在这个领域工作。你对这与赚钱再捐赠以及资助组织或项目进行比较有什么看法?至少像METR这样的组织,就向各种捐赠者请求资金,我相信还有其他组织也会重视捐赠,并认为这可能会加快他们的进展。
Holden Karnofsky: 从我目前的理解来看,总体而言,在人工智能领域进行捐赠的理由正在变得越来越强。还有更多事情可以做,正如我之前所说,而且问题的可处理性也更高。我认为,随着这个问题变得越来越重要,公众关注度也更高,由一个或少数几个大资助者来覆盖所有事情,这在道德和实际操作上也变得越来越令人不适。人们会关注资金流向,不同的资助者也有不同的声誉。
例如,Open Philanthropy 是一个重要的资助者,但我与他们有联系,尽管我现在已经不在那里了。我与 Open Philanthropy 的联系来自于家庭和我在 Anthropic 的工作。因此,从 Open Philanthropy 获取资金并不总是好事,这可能会引发实际和潜在的利益冲突,而我认为随着时间的推移,这种冲突会逐渐减少,因为我现在不再在那里了。
因此,我认为现在进行捐赠的机会可能比以往任何时候都要好,但与此同时,其他可以做的事情也比以往任何时候都要多。这进一步强化了这样一个观点:有很多事情可以做,找到一个与你非常契合的项目是非常值得的。
Rob Wiblin: 我猜,如果没有深入思考过这个问题,我的猜测是,如果你能在这些公司或某个非常渴望你加入的组织中找到一份直接工作的职位,那么对大多数人来说,这将比“赚取收入再捐赠”(earning to give)更好。
然而,许多人可能无法获得这样的职位,因为他们并不适合,或者在错误的时间缺乏必要的技能。对于这些人来说,“赚取收入再捐赠”是一个更广泛的领域,你可以从事各种各样的工作来赚钱并进行捐赠。因此,基本上,所有无法获得直接工作职位的人都应该认真考虑“赚取收入再捐赠”,并资助那些资金不足或因某些原因无法从特定资助者那里获得资金的项目。
Holden Karnofsky: 或许吧,这取决于你对“直接工作”是如何定义的。我认为,越来越多的直接工作职位其实是间接形式的直接工作,比如你可能是在帮助管理组织,或者协助处理业务方面的工作。如果你愿意加入一家你认为不错的 AI 公司,并努力帮助公司在业务方面取得成功,这虽然可以引发一些争议,但确实有观点认为这是值得的,而我也一直在强调这一点。因此,实际上有很多非常普通的职位可以做。
在 Anthropic,有很多非传统、非有效利他主义思维领域的人正在为公司创造巨大价值。例如,法律团队我认为非常重要,他们所做的很多工作都非常重要。其中一些工作有助于 Anthropic 的独特治理结构;另一些工作则更多是日常的业务需求。目前 AI 行业中有很多这样的职位,你可能会以这种方式来看待它们,而且其中一些职位对于“赚取收入再捐赠”来说其实也非常合适,这取决于你如何思考以及你所处的时间框架。
所以,我不确定,这并不那么清晰。不过,是的,我认为你说的有一定道理。
Rob Wiblin: 是的,我只是对这样一个事实很敏感,世界上大多数人,在任何给定的时刻,都无法在Anthropic或甚至类似的组织中找到工作,这仅仅是因为他们的地理位置或他们所处的人生阶段。但幸运的是,对于这些人来说,潜在的赚钱机会或捐赠机会也比以往任何时候都要好,这给了他们一个实质性的方式来做出贡献。
Holden Karnofsky: 哦,是的,这完全公平。
Rob Wiblin: 好的,我们应该结束了。我们已经聊了很多小时了,Holden,你有惊人的耐力。我不确定人们是否能察觉到你是否有些疲惫。
Holden Karnofsky: 好吧,是你熬夜了。
Rob Wiblin: 我确实睡得更晚,但我说的话可能只有你所说的十分之一。
为了结束这次对话,你是否想给我们一些激励性的呼吁?现场肯定有很多人对这些话题非常关注,也非常感兴趣。如果他们还在听,他们肯定至少对AI有一些兴趣,但可能并没有在这个领域工作,甚至可能没有申请过任何相关职位,或者甚至没有认真考虑过改变他们的职业方向。你是否想鼓励他们去查看一下80,000 Hours工作板 或者 Anthropic工作板?
Holden Karnofsky: 是的。如果你已经非常努力地尝试过寻找AI安全领域的工作,但找不到喜欢的,那是一回事。如果你还没有尝试过,我认为现在我可以说,这简直太疯狂了。你至少应该去了解一下,因为这是一个极其动态的领域。它在很多方面都很有趣,而不仅仅是关于影响力。它是世界上变化最快的领域之一。它报酬很好,很多组织都非常适合工作。
还有非常多的事情要做。有非常多的事情要做,虽然可能只是51/49的比例,但这是人类历史上最重要的事情之一。
无论你的技能是什么,无论你的兴趣是什么,我们已经不再处于你必须是一个概念上的自我驱动者、理论数学家或政策制定者的世界了——我们现在处于一个无论你的技能是什么,都可能有办法用它们来帮助使人类历史上最重要的事件变得更好的世界。
所以我一定会去了解一下。我一定会深入进去,寻找一些工作机会。如果你找不到适合自己的职位,你也不必接受。但如果你还没有去寻找,我强烈建议你这么做。
Rob Wiblin: 我今天的嘉宾是Holden Karnofsky。非常感谢你来到 _The 80,000 Hours Podcast_,Holden。
Holden Karnofsky: 谢谢你邀请我。非常棒。