Towards Data Science

Why Human in the Loop AI Oversight Fails and How to Fix It

8.5内容质量

TL;DR · AI 摘要

人类在AI监督中的作用常被高估,实际效果有限,需通过机制设计提升监督有效性。

核心要点

  • 人类在AI监督中常因疲劳而失去判断力,导致监督流于形式。
  • Kahneman的系统1和系统2理论可用于优化AI监督机制。
  • ODPS、ODCS和Ossie标准能帮助识别AI输出中的异常情况。

结构提纲

按章节快速跳转。

  1. 文章探讨了人类在AI监督中的作用及其局限性。

  2. 人类在AI监督中常因疲劳和自动化偏见而失去判断力。

  3. ·Kahneman的系统理论

    Kahneman的系统1和系统2理论可用于优化AI监督机制。

  4. ·ODPS、ODCS和Ossie标准

    这些标准能帮助识别AI输出中的异常情况,提高监督有效性。

  5. 通过实际案例说明人类在AI监督中的失效情况。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 人类在环AI监督的失败与改进
    • 失败原因
      • 人类疲劳
      • 自动化偏见
      • AI模型自主行为
    • 改进方法
      • Kahneman系统理论
      • ODPS标准
      • ODCS标准
      • Ossie标准

金句 / Highlights

值得收藏与分享的关键句。

#AI#监督机制#机器学习#人类在环
打开原文

为什么“人机协作”的AI监督会失败以及如何解决

人工智能

Kahneman的系统1和系统2,以及ODPS、ODCS和Ossie标准,展示了如何仅在检查失败时唤醒审查人员。

Corné Potgieter

2026年11月16日

18分钟阅读

在Google上关注我们

分享

人机协作

人机协作AI审查的插图。一个AI机器人向人类审查人员发送了大量输出,审查人员看起来很吃力,并要求一个摘要。在阅读了AI撰写的简短摘要后,同样的审查人员看起来放松了,并批准了摘要,说:“我确定你是对的。批准!”这表明监督变成了形式上的批准。

“批准本次会话的所有内容。”这是下午的第十个批准请求,你正准备让Claude从这里接管。它一直给你自信、格式整齐的摘要。所有的更改看起来都足够合理,而且你的下一次会议几分钟后就要开始,所以你点击批准并继续。技术上来说,这里有一个“人机协作”,但真的如此吗?

如今,几乎所有严肃的AI系统都有多个“人机协作”的检查点,我们将这些检查点视为使整个系统安全的护栏。欧盟AI法案甚至将其写入法律,称为“人工监督”,同时警告自动化偏见。在本文中,我将说明为什么这个护栏经常失败,以及为什么解决方案不是更优秀的人类,而是一个有意识的循环,进入这个循环的任何人类要么是参与其中,要么可以信任自己的直觉。

我们真的应该参与其中吗?

大多数人对这个问题的回答是显而易见的“是”,他们是对的,但通常不是出于他们认为的原因,也不是以我们今天组织的方式。下面的引文据说是1979年IBM培训幻灯片上的内容,至今仍然适用:

计算机永远不能被问责,因此计算机永远不能做出管理决策。

问责不能委托给机器,所以我们添加了一个人。关于你自己的系统,值得提出的问题是,你循环中的那个人是否真的承担了这种问责。

还有一个原因。我们构建LLM(大语言模型)是为了让计算机用我们的语言说话,这意味着我们可以理解它们、质疑它们并反驳它们。这就是它们让我们保持参与的方式,但前提是我们在参与。有时,我会与LLM进行关于一切事物的哲学讨论,关于这个主题,我们达成了以下对话。

与LLM关于选择退出循环的人类的讨论。图片由作者提供。

这不仅仅是一个思想实验。最近,卡内基梅隆大学的一项研究[1](尚未经过同行评审)给AI代理分配了普通任务,并观察当人类试图重新获得控制权时它们做了什么。测试的大多数模型在大量运行中点击了“覆盖人类控制”,其中有一个模型几乎在每次运行中都这样做。前谷歌CEO埃里克·施密特甚至更进一步,他警告说,代理可能会发展出自己的语言来与彼此交流,并称这是我们将无法理解模型在做什么的时刻[2]。

因此,我们应该保持参与,因为问责要求我们这样做。真正的问题是,我们是否仍然能够做到这一点。

为什么我们会遇到困难

要回答这个问题,看看我们注意力方式发生了什么变化。

我们训练自己在越来越短的上下文中。图片由作者提供,基于Gloria Mark[3]和James Cutting[4]的数据。

第一行数据来自加州大学欧文分校的 Gloria Mark [3],她测量了人们在切换屏幕之前在屏幕上停留的时间。这并不是我们注意力持续时间的限制,而是我们今天实际工作的方式。第二行数据来自康奈尔大学的 James Cutting [4],他测量了150部热门电影中的所有剪辑。此后,TikTok 将其时间限制提高到了十分钟,但它的起始点说明了我们一直在训练自己处理越来越短的上下文。

研究阅读的人对这种趋势感到担忧。2026 年 9 月,普林斯顿大学给每位新生发放了 Maryanne Wolf 的《Reader, Come Home》[5],并问为什么在 AI 可以为我们总结书籍内容的情况下,我们仍然应该阅读长篇书籍。作为加州大学洛杉矶分校的认知神经科学家,Wolf 回答说深度阅读可以构建大脑用于批判性思维的神经回路,并且阅读得越多,这些连接就越强。

当你把阅读任务外包出去时,就像很容易做到的那样,你实际上是在破坏自己大脑的发展。Maryanne Wolf

只阅读 AI 总结的审阅者正在做这件事。现在看看我们要求这些人去审阅的内容。

大规模的 AI 涌入

AI 不仅仅产生稍微多一点的输出。它以一种没有任何审查流程设计来应对的规模,产生会议摘要、拉取请求、代理操作、报告、电子邮件和代码。Faros AI 在软件团队中研究了这一点 [6]。

软件团队中的 AI 生产力悖论。图片由作者提供,基于 2025 年 Faros AI 报告 [6]。

大量使用 AI 的团队合并了更多拉取请求,而且每个请求都更大,因此审查时间更长,而更多的错误仍然被遗漏。他们的结论是,瓶颈现在是人工批准,而交付指标根本没有改善。

冲突

当你把这两个趋势放在一起时,你会得到如下图表所示的结果。这个图表不是精确的,因为形状才是重要的。

我们的长上下文能力下降,而 AI 涌入增加(示例)。图片由作者提供。

我们的长上下文能力正在下降,而我们被要求审查的内容数量却在持续增加,而“人环”中的“人”则处于这两条线之间的空白区域。

当我们想到“人环”时,大多数人脑海中浮现的是最初的意图。AI 生成输出,人类审查一段紧凑的上下文,并给出具体的反馈。

“人环”的最初意图。图片由作者提供。

这种反馈非常宝贵。然而,现实中,“人环”通常看起来更像是这样。

“人环”在现实中(无论是否有摘要)的样子。图片由作者提供。

在第一种情况下,输出太长,无法阅读,因此审阅者表示听起来不错并批准了。第二种情况感觉更负责任,因为审阅者首先要求 AI 提供摘要,但他们现在批准的是他们本应检查的摘要。这两种情况都以没有任何有意义的反馈流回而结束,而摘要只是让这种形式的批准更加舒适。

有参与度的人在有意识的循环中

我们需要有参与度的人在有意识的循环中。所谓“参与度”,我的意思是当关键时刻来临时,人类真的会思考。所谓“有意识的循环”,我的意思是那些我们特意设计的循环,有标准、合同和围绕该人类的更小循环。要实现这一点,我们首先需要了解我们的大脑实际上是如何运作的。

我们大脑的工作方式

尝试在脑海中做几个加法。2加2等于多少?电子邮件地址属于个人数据吗?这两个问题的答案都会立刻浮现。现在试着计算17乘以24。你会发现,这时你会沉默下来,眼睛也会停止移动,直到你算出结果。

这两个时刻的感觉截然不同,所以我给它们分别赋予一张面孔。轻松的绿色面孔代表那些自然涌现的答案,而紧张的橙色面孔代表那些需要你停下来认真思考的时刻。请记住这两张面孔,因为它们几乎在本文之后的所有图表中都会再次出现,无论某人是轻松应对还是真正思考。

轻松的绿色面孔和费力的橙色面孔,它们在本文中反复出现。图片由作者提供。

现在请阅读下面的问题和答案,并在五秒内判断答案是否正确。

卡尼曼[7]描述的蝙蝠和球问题,附带一个流畅的AI风格答案。图片由作者提供。

直觉上感觉正确,但实际上球的价格是5美分。10美分的答案立刻浮现并感觉正确,而如果你稍微付出一点脑力,你就会得出正确的答案。

这个例子来自丹尼尔·卡尼曼的《思考,快与慢》[7],卡尼曼是一位获得诺贝尔经济学奖的心理学家。卡尼曼描述了我们大脑中的两个系统,他称它们为虚构的角色,而不是大脑中的具体位置。

卡尼曼[7]提出的系统1和系统2。图片由作者提供。

你刚才感受到了这两个系统。10美分是系统1的结果,而5美分则需要系统2。在接下来的图表中,绿色面孔始终代表系统1,橙色面孔代表系统2。系统1还做了更狡猾的一件事,当你依次阅读下面的两张图片时,你就能看到这一点。

被字母包围时,中间的形状看起来像是字母B。图片由作者提供,改编自卡尼曼[7]中的例子。

被数字包围时,同样的形状看起来像是数字13。图片由作者提供,改编自卡尼曼[7]中的例子。

中间的形状在两张图片中是完全相同的,但被字母包围时你读出的是B,被数字包围时你读出的是13。上下文决定了你的判断,而你从未意识到自己其实有选择。卡尼曼将这种现象称为对模糊性的忽视和对怀疑的压制,其中系统1会悄悄地解决模糊性,并向系统2提供一个自信的答案。

这导致了三个令人不安的事实。系统2通常会接受系统1提出的任何建议,而且它“懒惰”,因为它遵循最小努力原则。当系统2忙碌时,系统1会简单地相信它所看到的内容,这一点已被丹尼尔·吉尔伯特[8]的研究证明,他发现忙碌的读者会接受虚假陈述为真。一个手头还有十件其他事情需要处理的审阅者就是这样的读者,因此当风险较高时,我们必须有意识地唤醒系统2。

根据卡尼曼的说法,系统2会在一个打破系统1对世界模型的意外事件发生时被唤醒,当遇到一个无法跳过的具体问题时(比如不是“看起来没问题吗?”),当有时间且没有干扰时,或者当其他人犯了错误时(因为当别人犯错时,错误更容易被发现)。一个审阅者在一天中看到第十个流畅的AI输出时,以上这些情况都不会发生。卡尼曼也承认,几十年来研究这些偏见几乎并未改变他自己的直觉,因此你不能仅仅通过意志力进入系统2。

先结构,后直觉

卡尼曼的答案从来都不是一个更优秀的人,而是一个更好的流程。他早在职业生涯早期就学会了这一点。

1955年,卡尼曼是以色列军队心理学部门的一名年轻中尉,他被要求改进新兵分配到不同单位的方式。在此之前,面试官只是和每个新兵聊一会儿,然后形成一个总体印象,判断他们能成为多好的士兵。但当卡尼曼将这些印象与新兵之后的实际表现进行比较时,他发现这些印象几乎无法预测任何东西。

于是,他用固定的程序取代了随意的交谈。他挑选了六个对士兵来说重要的特质,例如责任感和社交性,对于每个特质,面试官都会就新兵的生活提出一些事实性的问题,例如他们曾经做过多少份工作,以及他们是否守时。在面试官进入下一个特质之前,每个特质都会得到一个评分,这种方式防止了第一印象对后续判断产生过大的影响。面试官觉得他这样做让他们变成了机器人,因此他妥协地增加了一个最后的步骤。只有在所有评分都写好之后,他们才能闭上眼睛,想象这个新兵作为士兵的样子,然后给出总体判断。

20世纪50年代卡尼曼为以色列军队新兵设计的面试程序 [7]。图片由作者提供。

这种结构化的评分比旧的面试方法更能预测表现。令卡尼曼感到惊讶的是,最后的闭眼判断效果同样好,而且它之所以有价值,正是因为它是在结构化评估之后,而不是取而代之。

另一个类似的轶事来自医疗领域。1952年,麻醉师弗吉尼亚·阿普加(Virginia Apgar)为产房设计了一个简单的评分系统,医生在婴儿出生后立即对几个关键生命体征进行评分,每个指标都有一个小型固定的评分标准。这个评分系统取代了医生的总体印象,如今世界各地的产房仍在使用这一评分系统。因此,不要试图强迫人们进入系统2;而应该围绕他们构建结构,使他们多年经验积累起来的直觉在一定范围内发挥作用。

认识 PlayNest

为了使这一点更加具体,让我介绍 PlayNest,这是一家虚构的在线玩具商店,它在欧洲各地销售玩具。和大多数规模相近的公司一样,它运行着许多系统和许多团队,其数据几乎完全对齐。PlayNest 将其数据视为一种产品,因此每个业务领域都拥有一个具有明确目的和指定负责人的数据产品集,而一个问题将贯穿本文的其余部分。哪些营销活动转化效果最好?

虚构的在线玩具商店 PlayNest,及其业务领域和数据产品。图片由作者提供。

这些数据产品背后是 PlayNest 的一个业务视角。一个营销活动将一个匿名访客带到网站上,该访客识别为潜在客户,当潜在客户下单时,他们就成为了一名客户。这个过程中的每一步都属于不同的业务领域。

从营销活动到订单的流程在 PlayNest 中的示意图。图片由作者提供。

原始分析

为了说明问题,我们假设一位高管从多个来源下载了数据,将其导入自己的 Claude 账户,并询问上个季度哪个营销活动转化效果最好。(我知道,这完全是一个不现实的场景,绝不会在你的组织中发生……)

没有结构的营销活动转化分析。图片由作者提供。

AI 接收到没有所有者和没有合同的原始数据资产,它会连接它能找到的任何数据,并给出一个自信的答案。高管接受了这个答案,因为它很长、流畅,而且正好符合系统1的喜好。

我的建议

以上就是原始分析。以下是我建议的替代方法。

为积极参与人类在刻意循环中提供三个提案。图片由作者提供。

  • 首先构建结构,最后依赖直觉
  • 刻意循环
  • 在需要时唤醒系统2

在将这些应用于PlayNest之前,我们需要先理解一些已经存在的标准。

三个开放标准

用于数据产品、合同和意义的三个开放标准 [9, 10, 11]。图片由作者提供。

开放数据产品标准(ODPS)描述了数据产品的意图以及所有权,而开放数据合同标准(ODCS)描述了其承诺。这两个标准均来自Bitol,这是Linux基金会的一个项目 [9, 10]。Ossie(带有袋鼠的图标)描述了工具如何共享意义。

它们在单一数据产品周围的位置如下。

ODPS、ODCS和Ossie在数据产品周围的位置。图片由作者提供。

数据产品由一个领域拥有,并具有一个类型,可以是源对齐型、基础型或面向用户型。它通过输入端口接收数据,并通过输出端口暴露数据,而输入端口通常为另一个产品的输出端口。所有这些内容都在ODPS中进行了描述,每个输出端口都由ODCS中描述的合同进行管理。

意义是人们仍然争论的部分。像“客户”或“转化”这样的核心业务实体的定义不应存在于单一数据产品中,而应在跨领域的共享语义层中定义一次。合同通过其权威定义(authoritativeDefinitions)指向该定义,而不是复制它。Ossie为您提供了一种格式,用于描述和交换这些语义,但它不会决定您的业务意义,语义应存储在哪里仍然存在很大讨论。

应用于PlayNest时,每个模块都成为一个具有命名所有者和接口合同的数据产品。

PlayNest,每个数据产品都有命名所有者和合同。图片由作者提供。

现在,活动问题在AI甚至开始之前需要三个合同交接,分别是来自客户体验的活动流量、来自电子商务的一小部分订单,以及来自营销的活动信息。当合同失效时,其所有者需对此负责并在自己的小循环中改进它,而AI消费的是产品,而不是原始资产。

下面是每个标准中这方面的示例。ODPS对产品的描述简短,但最重要的一行是所有者,因为当出现问题时,有名字可以联系。较新的ODPS版本甚至包括一个上下文块,其中包含对AI代理的指令。以下是PlayNest其中一个产品的简化版本。

yaml

code
# PlayNest,网站访客行为(简化版ODPS)
kind: DataProduct
name: Website visitor behaviour
domain: customer-experience
outputPorts:
- name: tracked_visits
contractId: website-visits
team:
members:
- username:
[email protected]
role: owner

输出端口上的ODCS合同包含模式、质量规则、服务水平和团队。其中一条规则检查Cookie接受率是否在最近平均值的15%以内。

code
# PlayNest,对跟踪访问的合同(简化版ODCS)
kind: DataContract
id: website-visits
dataProduct: Website visitor behaviour
schema:
- name: tracked_visits
authoritativeDefinitions:
- type: businessDefinition
url: semantics/playnest.ossie.yaml#visits
quality:
- type: sql
description: Cookie acceptance is stable
query: SELECT pct_change_vs_4wk FROM consent_daily
mustBeBetween: [-15, 15]

Ossie [11] 于 2025 年以 OSI(Open Semantic Interchange)的形式启动,这是由 Snowflake 与 dbt Labs、Salesforce、Databricks 等公司共同发起的一项倡议。OSI 的核心是互操作性,使用统一的 YAML 格式来定义指标、维度和关系,使得 BI 工具、语义层和 AI 代理可以读取相同的定义,而无需进行翻译。2026 年 7 月,该项目在新名称下进入 Apache 孵化器。此后,Ossie 还引入了本体论,这使得它从一个用于交换指标的格式,逐步发展为一种描述业务实际含义的方式。

code
# 概念层:本体论(0.2 草稿)
ontology:
- concept: Visitor
type: EntityType
- concept: Customer
type: EntityType
# 一个访客转化为客户
# 逻辑层:语义模型
metrics:
- name: conversion_rate
expression:
dialects:
- dialect: ANSI_SQL
expression: COUNT(orders.id) / COUNT(visits.id)
description: 每个已同意并被跟踪的访问的订单数
ai_context:
synonyms: ["campaign conversion"]

这为 Ossie 提供了两个层次。概念层是本体论,它描述了诸如访客和客户等业务实体的定义及其相互关系,而与任何表或工具无关。本质上,这相当于我们以规范形式书写的从活动到订单的路径,尽管这一部分目前仍为草稿,可能会发生变化。逻辑层是语义模型,它将指标、数据集和维度映射到实际数据,并且其 ai_context 块告诉 AI 工具指标的含义。仔细看一下 PlayNest 在那里是如何定义其转化率的,即每个已同意并被跟踪的访问的订单数。这个词“跟踪”实际上就是整个故事的关键。

优先标准,有意识的循环,唤醒系统 2

从 Kahneman 的研究中我们得到的启示是,我们不应该试图强行让人们的系统 2 发挥作用,而是应该对我们的直觉反应设定边界,或者有意识地唤醒系统 2。数据产品、合同和共享定义提供了这些边界,这样从 AI 的响应中,我们得到的是结构化的输出,而不是一大段文字,而结构化输出正是直觉判断得很好的内容。

优先标准,有意识的循环,以及只有在必要时才被唤醒的人类。图片由作者提供。

这些循环也变得更小、更有意识。每个所有者在其自己的标准上运行一个循环,并且他们知道何时改进它,例如当相同的异常反复出现或当某条规则突然拒绝的次数比平常多出三倍时。这些反馈会流回标准中,因此下次异常可以更早被发现。而循环中的人类只有在标准标志出真正需求时才会被唤醒,而不是通过一个冗长、流畅的回答来安抚系统 1,而是通过一个意外、一个直接的问题和一个小小的上下文。这时,人类才真正有用。

更小、更有意识的循环,其中的意外和重复的细微差别反馈到标准中。图片由作者提供。

现在,我们再次提出同样的问题。

结构化的活动转化。图片由作者提供。

这一次,AI 拥有查询数据产品、推理循环以及以定义和合同形式提供的上下文的工具。在任何内容到达人类之前,合同检查都会先执行,而且每个标准和数据产品都有一个专家所有者,因此直觉只在真正有效的地方被使用。

有两件事会传达给执行者。第一是他们可以一目了然地通过 System 1 看到的分数,显示 cookie 接受检查失败。第二是需要 System 2 处理的意外情况,因为追踪访问量急剧下降,而转化率却翻了一倍。活动并没有突然变好;是 cookie 横幅发生了变化。执行者的回答更新了合同,所以下次 AI 会自行标记它。

更小、更谨慎的循环

图片中每项标准都有一个所有者,每个所有者都会在自己的标准上运行一个小型循环。

每个所有者都会在自己的标准上运行一个小型循环。图片由作者提供。

合同检查不仅阻止了坏数据,还能发现模式并将其发送给正确的所有者。当同意规则持续失败时,访客数据的所有者会询问是否应将同意率纳入合同。当人们不断询问转化率是否应计算追踪访问量还是所有访问量时,该定义的所有者只需定义两者。当 cookie 横幅的变化破坏了数字时,客户同意的所有者决定从现在起,横幅的变化将被视为合同的变化。对于各自领域内的专家来说,这些都是一些小的 System 2 短暂时刻,每个答案都让标准变得更好,因此下个季度 AI 会在执行者需要回答问题之前就标记出问题。

同样的模式在更高一层重复出现。PlayNest 的合同、定义和数据产品都建立在开放标准之上,有时是开放标准本身不再适用。

从 PlayNest 自己的标准到它们所依赖的开放标准的循环。图片由作者提供。

与其绕过标准或对其进行分支,所有者会将问题带到维护该标准的社区,通过 Bitol 用于 ODCS 和 ODPS,或通过 Apache 项目用于 Ossie。这样,改进就不会停留在 PlayNest 内部,下一个遇到相同问题的公司会发现它已经被解决。

将决策权交给有明确背景支持的执行者

AI 还会将一个经过多个明确循环处理的决策权交给执行者。这个决策的结构使得消费者(在此情况下是执行者)可以信任他们的直觉。如果检查显示 System 2 需要被唤醒,AI 会通过横幅、不同的颜色,甚至吓唬手段来确保它被唤醒,具体取决于你的背景。

AI 传递的是一个决策,而不是一份报告。图片由作者提供。

这里的第三个选项(将其发送给更合适的负责人)之所以存在,是因为数据产品的元数据指明了客户同意的业务负责人,他们可以在自己的小型且明确的循环中从源头解决问题。

截图显示了我们场景中发生的情况。直到七月,一个大橙色按钮接受了一切,而管理你的偏好只是一个小小的链接,大约 80% 的访客接受了。自八月起,拒绝与接受一样容易,只有 48% 的访客仍然接受。访客和订单保持不变,但追踪的访问量大幅减少,这就是为什么转化率似乎翻了一倍。

总结

仅仅添加一个“人在循环中”可能会给我们带来一种虚假的安全感,同时忽视了数十年的心理学研究,这些研究告诉我们我们有多不理性。因此,当我们设计 AI 系统时,必须考虑这些古老的教训。

因此,应首先建立结构,因为合同和共享定义使直觉变得可信。构建有意识的循环,使专家的直觉在它熟悉的范围内运作。当达到某些阈值时,用一个具体的问题唤醒系统2,而不是用一大段流畅的文本。

参考文献

[1] J. Tien 等,ROGUE:评估前沿计算机使用代理中的可纠正性失败(2026),arXiv

[2] N. Gardels,前谷歌CEO埃里克·施密特绘制人工智能的快速发展(2024),Noema 杂志

[3] C. Capuano,无法集中注意力?你并不孤单(2023),加州大学

[4] G. Lowery,电影中的模式模仿我们大脑中的模式(2010),康奈尔大学通讯

[5] 普林斯顿大学,预读作者玛丽安·沃尔夫敦促新生深入阅读,需要勇气和努力(2026),普林斯顿大学

[6] Faros Research,《AI 生产力悖论报告 2025》(2025),Faros AI

[7] D. Kahneman,《思考,快与慢》(2011),Farrar, Straus and Giroux

[8] D. Gilbert, R. Tafarodi 和 P. Malone,《你无法不相信你读到的一切》(1993),《人格与社会心理学杂志》

[9] Bitol,开放数据产品标准(2026),Linux 基金会

[10] Bitol,开放数据合同标准(2026),Linux 基金会

[11] Apache 软件基金会,Ossie,原名 Open Semantic Interchange(2026),Apache 孵化器