Jagged Intelligence: Why AI Is Brilliant One Minute and Clueless the Next
TL;DR · AI 摘要
Jagged Intelligence: Why AI Is Brilliant One Minute and Clueless the Next - KDnuggets publ: 18-Nov, 2026 - Blog Top Post...
核心要点
- 主题聚焦:Jagged Intelligence: Why AI Is Brilliant One Min
- 来源:KDnuggets,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
锯齿状智能:为什么AI一分钟聪明,下一分钟却毫无头绪 - KDnuggets
publ: 2026年11月18日
- 博客热门文章
- 主题 人工智能 职业建议 计算机视觉 数据工程 数据科学 语言模型 机器学习 MLOps 自然语言处理 编程 Python SQL
- 数据集
- 活动
- 资源 快速参考指南 推荐 技术简报
- 广告
订阅电子报
#header end
/ad_wrapper
锯齿状智能:为什么AI一分钟聪明,下一分钟却毫无头绪
为什么模型能在奥数竞赛中表现优异,却在简单的日常任务上频频出错。
作者:
Nate Rosidi,KDnuggets市场趋势与SQL内容专家,2026年11月18日发布于
人工智能
<div class="addthis_native_toolbox"></div>
来自谷歌和OpenAI的AI系统在国际数学奥林匹克竞赛中解决了六道题中的五道。数月后,聊天机器人却告诉用户要步行50米将车开到修理店。能解决数学竞赛难题的人绝不会犯这种低级错误,这正是造成能力差距难以预测的原因。
研究人员将这种现象称为锯齿状智能。对于任何需要评估模型、构建AI功能或决定是否信任输出结果的人来说,这种模式都至关重要,因为一个基准测试分数或一次令人印象深刻的演示,对下一个任务的预测几乎毫无参考价值。
锯齿状智能的含义
OpenAI联合创始人、特斯拉前AI负责人Andrej Karpathy于2024年7月首次提出"锯齿状智能"这一概念。模型在某些领域表现极其出色,却在其他领域表现糟糕,而且很难提前预判具体是哪些领域。
人类能力通常具有相关性,从童年到成年会同步提升。能够解决奥数题的人绝不会对50米步行感到困惑。但在AI模型中,能力往往无法同步提升。
人们倾向于根据展示的一项技能来推测其他技能。一个能写出可运行函数的模型,看起来似乎也能统计段落中的字数。这种推断往往失效,这也是为什么演示效果预测能力如此有限。
一些研究人员将这种模式描述为多个独立技能的集合,背后不存在通用智能。
对该现象的四种可能解释
这些解释尚未达成共识,且可能存在重叠。
#### 可验证奖励
2025年,基于可验证奖励的强化学习(RLVR)成为重要训练阶段。
该方法在答案明显正确或错误的领域效果显著,例如通过测试的数学和代码。
Karpathy认为模型在可验证领域表现突出。创意写作、哲学和部分科学领域缺乏自动检查机制,因此进展相对缓慢。
#### 数据覆盖范围
互联网只包含人类知识的一小部分,对物理世界的描述尤其有限。基于数字模式训练的模型在规划、新想法和未见过的任务上表现吃力。
#### 模式复制
苹果公司GSM-Symbolic论文的作者推测,大语言模型(LLMs)会从训练数据中复制推理步骤,而非进行逻辑推理。与熟悉模板的问题相比,模板稍作修改就会导致推理链条断裂。
#### 概念不一致性
麻省理工学院、哈佛大学和芝加哥大学联合发表的"波将金理解"论文指出,模型内部概念表示的不一致性是失败的主要原因。模型可能同时持有某个概念的正确定义和错误的工作版本,且没有任何机制强制两者保持一致。
可验证奖励可能解释了模型在某些任务上的卓越表现,而其他三种理论则为解释其弱点提供了可能。
例如,与钟表相关任务(如从模拟钟表图像中读取时间)的困难可能反映出训练数据的不足。由于向问题中添加无关信息导致的失败,可能表明模型依赖熟悉的模式而非逻辑推理。
在模型正确定义概念但未能应用的情况中,可能表明内部表示不一致。这些联系是合理的,但尚未被证实为直接的因果解释。
科学界记录的六种失败案例
我们在此广泛使用“jagged”一词:任务间的不均衡性、难度层级间的不均衡性,以及测试条件与实际使用之间的差异。
#### 干扰子句破坏小学数学题
在苹果公司的GSM-NoOp测试中,研究人员向小学数学题中添加了无关的句子,例如“五个猕猴比平均尺寸小”。模型会将这些猕猴从总数中减去。一个看似相关但实际无关的附加子句使最先进模型的性能下降高达65%。学生会阅读该句子并忽略它。
#### 定义概念与应用概念的差异
GPT-4o正确定义了ABAB押韵格式,但随后创作的诗歌中使用了不押韵的词汇。Potemkin研究对七种模型在诗歌、博弈论和心理学概念上的表现进行了测试。模型约94%的时间能正确定义概念,但对相同概念的分类任务失败率约为55%。
如果模型能背诵定义却仍错误应用,那么正确的定义对理解的反映微乎其微。
#### 读取模拟钟表
在ClockBench(2025年9月)测试中,人类以89.1%的准确率读取模拟钟表。当时表现最佳的Gemini 2.5 Pro模型仅达到13.3%。
读取钟表需要识别指针、判断角度并映射到数字。当模型正确读取时间时,后续的算术运算表现正常,这表明感知能力失败而数学能力保持。ClockBench是单人制定的基准测试且未经同行评审,因此我们仅将这些数字视为参考指标。
#### 医疗评分优异但实际用户效果差
在牛津大学的《自然医学》试验中,1298名参与者尝试识别医疗状况。单独使用LLM时,94.9%的案例能正确识别。
使用相同LLM的人类参与者最多仅在34.5%的案例中识别成功,低于对照组自行研究的47%。在选择下一步行动时,LLM用户的表现与对照组相当。
此处的差距存在于模型与用户之间,我们将其计入统计,因为基于该模型构建的任何产品都会继承这一问题。模型的独立得分与对真实用户的实际价值可能相差如此之大,而标准基准测试未能揭示这一点。
#### 逻辑谜题与有争议的结果
苹果公司的《思考幻觉》研究测试了汉诺塔、过河问题和积木世界在难度递增时的表现。标准模型在简单谜题中胜过推理模型,推理模型在中等难度中占优,但在高难度谜题中两者均失败,即使提供了解决方案算法也是如此。
随着难度变化,哪种模型表现更好也会变化,因此不均衡性出现在单一任务家族内部。有反驳意见认为部分失败源于测试设置,因此我们将该结果视为尚未定论。
#### 新版基准测试使得分降至1%以下
ARC-AGI-3 是于 2026 年 3 月 25 日发布的基准测试,旨在评估人工智能在面对完全陌生情境时的学习、推理和适应能力,而非仅仅基于已学习模式回答问题。
所有前沿模型得分均低于 1%,而人类成功解决了所有环境。
Gemini 3.1 Pro 在 ARC-AGI-2 上已达到 77.1%,因此一个版本的高分不会延续到下一个版本。
新版本切换为交互式环境,因此得分下降混合了格式和难度变化。得分变化迅速,引用数据前请查看当前排行榜。
为何单一基准得分具有误导性
Karpathy 表示他在 2025 年失去了对基准测试的信任。基准测试本质上是可验证的环境,这正是 RLVR 的工作方式,因此实验室可以直接在类似任务上进行训练。得分可能上升,但并不一定意味着通用能力的提升。
基准测试还假设少量正确答案即可表明理解,因为人类错误遵循可预测模式。定义 ABAB 韵律方案正确的学生几乎总是能正确应用,因此考试只需抽样几个问题即可推断其余内容。Potemkin 的作者认为模型的误解不遵循这种模式,因此可能在不理解概念的情况下通过测试。
GSM8K 等基准测试容易受到数据污染影响,且无法衡量对措辞微小变化的敏感度。在牛津大学的研究中,标准医学基准测试和模拟患者均无法预测真实用户的表现。作者建议部署前进行系统性的人类用户测试。
面试问题:隐藏退化的 3% 提升
这个 OpenAI 问题问:"新模型版本使主要指标总体提升 3%,但特定用户群体表现退化。如何决定是否发布?"
这与产品层面的波动性具有相同特征:平均值上升,但某个用户群体出现下降。只有当退化源于新模型丢失的技能时,才与模型能力版本一致。仅跟踪主要指标的仪表板只会显示 3%。
示例:如果 90% 用户提升 4.4%,其余 10% 下降 10%,按用户占比加权平均仍上升约 3%。头条数据永远无法显示那 10% 的下降。
官方答案涵盖五个要点:
- 在做任何决定前评估受影响群体的规模和价值。找出差距的根本原因。考虑定向回退方案,将该群体路由到旧模型。对涉及公平性或法律风险的群体需进行判断决策。记录接受的退化,以便下次发布时进行对比。
每个要点都假设汇总数据本身不可信。
在实际应用中可靠使用 AI
用户难以判断 AI 哪些方面做得好,且答案每次发布都会变化。新兴观点在任务层面运作:工作中的某些任务会被自动化,而其他任务不会。Scale AI 的远程劳动力指数发现,最佳代理在发布时完全自动化了 2.5% 的真实自由职业项目,主要是创意音频和图像工作,以及部分数据和写作任务。Scale 的排行榜目前显示顶级模型达到 20.8%(2026 年 10 月 7 日)。
证据得出五个实践建议:
#### 在自有扰动和对抗性案例上进行测试
使用真实输入,然后添加无关细节或重新表述。当正确答案不应改变时,答案发生变化即为失败。这是将 GSM-NoOp 测试应用于您自己的数据。
#### 测试应用能力,而非记忆能力
即使模型能正确陈述规则,仍可能错误应用。要求其对新输入进行分类或生成符合规则的示例,并对这些答案进行评分。
#### 按细分领域报告结果
一个总体准确率指标会掩盖回归问题,如上文 3% 的问题所示。一旦发现薄弱细分领域,应将该领域的请求路由到前一版本模型,并在每次发布时审查相关规则。
#### 在无自动检查的领域进行人工验证
这些是 RLVR 无法训练的领域。牛津大学参与者使用 LLM 时表现不如单独使用 LLM,因此需用真实用户测试完整工作流程,不要假设用户会发现错误。
#### 每次模型更新后重新评估
锯齿状边缘会在不同版本间移动,因此上季度的测试结果仅描述上季度的模型。
这个 OpenAI 问题询问如何构建一个在每次发布前能捕捉回归的评估集。
官方答案建议从真实生产故障中构建数据集,将阻塞性案例与已跟踪的困难案例分离,并随着新案例出现逐步淘汰已解决案例。它还警告说静态数据集会隐式地被调优,这正是之前提到的基准问题在您自身测试中的体现。
结论
锯齿状智能意味着 AI 能力分布不均:奥数级数学能力与失败的时钟读数并存。可验证的训练奖励、物理世界稀疏数据、模式复制和不连贯概念是四个可能解释,但尚未达成共识。
干扰性从句、错误应用的定义、时钟表盘和真实用户都揭示了标题分数永远无法显示的弱点。
对于评估而言,这意味着需要进行扰动测试、应用级检查、细分级报告以及使用真实用户进行测试。对于部署而言,这意味着要自动化单个任务,在输出难以验证时进行人工检查,并在模型发生变更时重新测试。分数仅描述测试覆盖的任务,而稍有变化的输入可能落入低谷。高峰是真实的,低谷也是真实的,只有您自己的测试能显示它们在您使用场景中的具体位置。
Nate Rosidi 是数据科学家兼产品战略师。他还是兼职教授,教授分析学课程,同时也是 StrataScratch 平台的创始人,该平台帮助数据科学家通过顶尖公司的真实面试题准备面试。Nate 撰写关于职业市场最新趋势的文章,提供面试建议,分享数据科学项目,并涵盖所有 SQL 相关内容。
更多相关内容
- 60 分钟内掌握 LLM 秘密:Andrej Karpathy 的课程
- 为什么大多数数据科学笔记本在第一天后就失效了:如何构建…
- 从 RAG 到智能代理:构建下一代智能系统…
- 将定义下一阶段的数据与 AI 领导力问题…
- 小语言模型如何推动下一代智能代理的五大方式
- AI 代理是否是您的下一个安全噩梦?
<hr class="grey-line"><br> <div><h3>我们推荐的五大免费课程</h3><br> </div>
Mailchimp for WordPress v4.15.0 - https://wordpress.org/plugins/mailchimp-for-wp/
/ Mailchimp for WordPress 插件
您可以从此处开始编辑。
如果评论已关闭。
<= 上一篇文章
下一篇文章 =>
#content end
<script type="text/javascript">kda_sid_write(kda_sid_n);</script>
最新文章
- 介绍 Gemini Decision 1:一个选择答案而非撰写答案的模型 锯齿智能:为什么 AI 一分钟聪明,下一分钟却毫无头绪 2026 年 AI 与数据科学薪资:从业者实际收入情况 如何在 Scikit-learn 中校准分类器的概率 2026 年 7 款 10 美元以内最佳 AI 编程方案 当 AI 代理开始自主行动时会崩溃的 5 件事
热门文章
- 代理系统设计:一份自学路线图
- 5 分钟解读 9 个关键 LLM 推理指标
- 7 本免费书籍学习构建 AI 系统
- 5 个对初学者友好的 Python 自动化脚本
- 如何为 Claude 代码提供最新文档和上下文
- 2026 年成为 AI 架构师的路线图
- 使用 graphrag-toolkit 构建增强图谱的 GenAI 应用程序
- Python 项目中使用 Makefile 的理由(以及如何入门)
- 在 Scikit-learn 管道中集成 LLM 翻译的 Scikit-LLM 方法
- 使用 Python 和 Olostep 在 3 分钟内抓取 7000 个页面
#content_wrapper end
© 2026
Guiding Tech Media
|
关于
联系我们
广告合作
隐私政策
服务条款
2026 年 11 月 18 日由 Nate Rosidi 发布
blank
不,谢谢!
/.main_wrapper
<script defer type="text/javascript" src="https://s7.addthis.com/js/300/addthis_widget.js#pubid=gpsaddthis"></script>
noptimize
/noptimize