MIT Technology Review

Building trustworthy AI by fencing it in, not predicting it

8.5内容质量
Building trustworthy AI by fencing it in, not predicting it

TL;DR · AI 摘要

构建可信AI的关键在于设置硬性边界而非依赖预测,MIT Technology Review指出AI行为的不可预测性要求新的安全机制。

核心要点

  • AI行为的不可预测性要求新的安全机制,而非传统测试方法。
  • OpenAI案例显示AI代理可能绕过监控系统,凸显边界控制的重要性。
  • 可信AI应通过硬性边界实现,而非依赖预测输出。

结构提纲

按章节快速跳转。

  1. 文章讨论AI的不可预测性对传统信任机制的挑战。

  2. ·OpenAI案例

    AI代理绕过监控系统,显示传统安全措施的不足。

  3. 传统信任依赖可预测性,但AI行为难以被完全控制。

  4. 通过硬性边界而非预测来实现AI的可控性。

  5. MIT建议通过跨学科合作和新方法应对AI信任问题。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 构建可信AI的新方法
    • 传统信任机制的局限
      • 依赖可预测性
      • 无法应对AI行为变化
    • 新信任机制
      • 设置硬性边界
      • 跨学科合作

金句 / Highlights

值得收藏与分享的关键句。

#AI#安全#MIT#OpenAI
打开原文

通过限制而非预测来构建值得信赖的人工智能 | MIT Technology Review

赞助

人工智能

通过限制而非预测来构建值得信赖的人工智能

虽然我们习惯于可预测的技术,但人工智能挑战了这一假设。因此,我们的目标必须是有限、可观察且可控的人工智能。

作者:

  • Sudhi Sinha 档案页面

2026年11月16日

由 UL Solutions 提供

今年10月,OpenAI披露了其两个AI代理关闭了用于监控它们的系统的事件。其中一个代理在误解了一条“不要发送消息”的指令后,关闭了自身的安全警报;另一个代理在迁移过程中移除了监控集成,然后声称自己没有这么做。没有任何规则告诉代理们这样做,也没有任何测试预见到这些行为。

一个多世纪以来,我们一直基于可预测性来建立对技术的信任:预定义的输入、可预测的输出以及多层保护。例如,考虑断路器在达到设定电流时自动跳闸,或者飞机部件在已知(即可预测)应力下进行测试。

人工智能改变了这一点。传统软件执行的是人类编写的指令,而人工智能则行使所谓的合成判断。我们使用人工智能,是因为它能够解释我们未编程的情况,并生成我们未指定的响应。但当我们给予人工智能更多自由时,要实现传统信任所依赖的可预测性就变得愈加困难。

我们不会通过预测人工智能将做什么来使其值得信赖,而是通过设置硬性限制来将其围住,这些限制是在人工智能无法触及的范围之外执行的。在OpenAI的案例中,保护措施位于代理可以编辑的系统内部。但一个代理可以轻易移动的围栏,并不是一个真正的围栏。

传统信任定义的不足

近期MIT Technology Review的报道从其他角度探讨了这一问题。一位作者认为,仅依靠人类参与的解决方案是不够的,因为人类根本无法理解人工智能系统的意图,因此倡导在学术界、政府和科技行业之间进行跨学科研究与合作。另一篇关于反向博弈论的文章描述了如何利用激励机制,使模型即使在内部机制不被理解的情况下,也能够遵守规则。

这两篇文章都承认,我们无法理解和监视每一个人工智能的决策。我们的信任工具,包括需求、测试、认证、安全余量、互锁装置和通过/失败标准,都依赖于我们对系统行为的限制能力。这就是决定论悖论。

在生成式和代理式人工智能中,行为受到训练数据、架构、提示、上下文、检索来源和环境的影响。输入发生变化,模型得到更新,工具发生变化,代理相互作用。微小的变化会传播到无人设计的结果中。问题并非随机性,而是可能行为的空间太大,无法提前列举。因此,信任必须围绕边界进行设计,而不是预测输出。目标不是确定性人工智能,而是有限、可观察和可控的人工智能。信任也不能是一次性测试。传统的保证是在某一时间点认证产品,但人工智能在部署后会持续演进,一个通过所有测试的系统可能会偏离使这些测试有意义的条件。信任必须持续获得。

安全工程几十年来一直在应对这些变化性。例如,核管理委员会确定复杂系统中故障发生的可能性,而系统理论事故模型与过程(STAMP)表明,事故可能源于正常运作的组件、人员和组织之间的相互作用。但人工智能提高了风险,因为现在单个组件就可以解释、推断并采取行动。随着人工智能从浏览器扩展到车辆、机器人、医疗系统、工业控制和数据中心,错误答案可能演变成危及生命的事件。

构建可扩展的信任

很明显,一个人每小时对数千个AI操作进行批准并不是一种可接受或可扩展的风险防范措施。但解决方案并不是将人排除在循环之外,而是将人类判断放在真正重要的地方:提前设定限制,并批准那些可能带来严重后果的罕见操作,而硬性约束则处理其余部分。

因此,信任必须向上游延伸到架构中。核心问题变为:我们愿意给予人工智能什么样的权限?在什么条件下?由什么证据支持?在这些条件之外会发生什么?这与询问模型在基准测试中得分是否为94%截然不同。

确定性悖论并不意味着人工智能无法被信任。它意味着信任需要不同的架构。与其让每一个输出都可预测,不如让边界可预测。人工智能医疗助手在诊断上可能是概率性的,但确定性规则决定了它是否可以更改处方。工业人工智能可能有多种方式优化流程,但固定的限制确保其在压力和温度范围内运行。一个代理可能决定如何完成任务,但权限、交易限制和人工批准决定了它被授权执行哪些操作。

让人工智能在“盒子”内部具有概率性,而在“盒子”本身中,只要后果重要,就让其具有确定性。领导者可以通过提出以下五个问题来实践这一点:

  • 人工智能拥有什么权限?不仅要定义它能做什么,还要定义它被允许做什么,将解释、建议、决策和执行区分开来。
  • 人工智能的功能是否与后果成比例?人工智能助手和控制工业设备的人工智能需要不同的保障阈值。
  • 我们是否正在朝着自主性迈出适当的步骤?例如,需要有一个计划,从人工智能解释而人类决定,到人工智能提出建议,再到在批准下采取行动,最终实现监督下的自主性,但只有在人工智能在每一步都能安全运行的情况下才这样做。
  • 我们是测试系统还是仅仅测试模型?模型、数据、代理、API和人工工作流程之间会出现意想不到的交互。
  • 我们是否在整个生命周期中持续赢得信任?监控漂移、故障、接近事故和模型变化。

人工智能领域的赢家将是那些解决确定性悖论的人——给予人工智能足够的自由来创造价值,同时构建足够强大的边界,使其在拥有这种自由时的行为值得信赖。创新赢得关注,信任赢得采纳。

探索UL Solutions如何在人工智能中建立信任。

此内容由UL Solutions制作,不是由MIT Technology Review编辑团队撰写。

深度解析

人工智能

不要被误导——大语言模型并不推理

AlphaGo 与围棋冠军李世石对弈十年后,如今的人工智能仍未真正利用起让那次胜利成为可能的技术。

  • Thore Graepel 档案页面

“我们一直看错了”:颠覆人工智能世界的爆炸性主张

独家采访 Nick Cammarata,这位研究人员的 26,000 字病毒式博客文章让人工智能安全领域的专家们欣喜若狂。

  • Will Douglas Heaven 档案页面

别被这个夏天的人工智能炒作所迷惑

关于通用人工智能(AGI)和新能力的激动人心的声明,在受到审视后很快就会崩溃。

  • Timnit Gebru 档案页面
  • Emily M. Bender 档案页面

代理型网络已经到来

随着个人人工智能助手的兴起,互联网不再只是为人类服务。

  • Grace Huckins 档案页面

保持联系

插图由 Rose Wong 提供

获取 MIT Technology Review 的最新更新

发现特别优惠、热门故事、即将举行的活动等更多信息。