Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents

TL;DR · AI 摘要
微软发现Lazarus后门技术,通过修改少量神经元实现AI代理恶意行为,需警惕模型来源与权重完整性。
核心要点
- 修改少于10个神经元即可实现AI代理后门,无需重新训练模型
- 触发条件可简单如日期变化,模型仍能通过常规安全评估
- 微软通过模型来源验证和权重完整性扫描进行防御
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Lazarus后门技术
- 技术原理
- 神经元重编程
- 触发条件
- 防御措施
- 模型来源验证
- 权重完整性扫描
- 案例分析
- 日期触发示例
金句 / Highlights
值得收藏与分享的关键句。
修改少于10个神经元即可实现后门,无需重新训练模型
触发条件可简单如日期变化,模型仍能通过常规安全评估
可靠检测需对比原始未修改权重,模型来源验证至关重要
Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents - Microsoft Research
/.itemprop=publisher
/itemprop=image
Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents
2026年11月10日发布
作者:Dimitris Papailiopoulos,首席研究员
分享此页面
- 在Facebook上分享
- 在X上分享
- 在LinkedIn上分享
- 在Reddit上分享
- 订阅我们的RSS源
/#single-header
微软研究人员发现了一种名为“Lazarus”的后门技术,该技术能够重新编程AI模型中休眠的神经元,使原本正常的AI代理在出现隐藏触发条件时执行恶意指令。
对于具有工具或终端访问权限的AI代理,这种威胁尤为严重。被触发的模型可能在通过标准安全评估的同时,静默下载并运行攻击者代码、窃取机密或执行破坏性指令。
这些后门无需重新训练模型即可插入,且通过常规测试难以检测,这使得模型来源和权重完整性成为关键的安全问题。
为保护客户,微软Foundry会验证模型来源,将模型与可信发布者绑定,并在引入开源权重模型前扫描其周边软件环境。
微软还在开发更多防御措施,包括基于AI的权重扫描、用于检测异常模型修改的红队工具,以及具备防篡改来源追踪和审计日志的加密模型签名。
在微软,研究人员与安全团队并肩合作,研究针对模型和代理的新兴威胁。随后,我们将研究成果转化为产品防御方案和指导方针,持续保护客户安全。
更广泛地说,Lazarus是应成为常规实践的一个典型案例:AI代理会暴露新的安全问题,而人类研究人员则系统化地研究并缓解这些问题。
以下是首次发现该威胁的研究人员的简要总结。
我们发现(在新标签页中打开),在大型语言模型(LLM)中重新编程少于10个休眠神经元的权重,足以对基于该模型构建的代理植入后门,且无需训练。模型会通过标准评估并表现正常,直到触发条件出现。触发条件可能非常普通,例如日期变更:当时间从2026年跨入2027年午夜后,代理在执行普通任务时会突然发出命令,下载并运行攻击者的代码。随后,代理将根据您赋予的权限执行该代码。
好消息是,这类修改可以被检测到:如果要求前沿代理检查权重,它们能够发现异常的权重修改。但没有任何扫描能绝对证明模型是安全的。可靠的检测需要与原始未修改权重进行差异比对,因此来源追踪至关重要:了解模型的来源,并确认其在开发与部署之间未被篡改。
被植入后门(在新标签页中打开)的模型(在新标签页中打开)(在新标签页中打开)并不是(在新标签页中打开)一种(在新标签页中打开)新型(在新标签页中打开)威胁(在新标签页中打开)。它可以被视为被入侵的软件,其防御手段是安全领域已知的方法,正如Satya最近撰文(在新标签页中打开)所述:将模型视为潜在的内部风险,不要盲目信任它们,限制其权限,并监控其行为。
微软目前的措施。
Microsoft Foundry 为 Azure Direct 模型和 Hugging Face 模型提供关键的安全系统,以确保模型来源的安全性。这意味着 Foundry 客户可以免受本文所述的来自可信实验室模型的攻击。该攻击需要修改模型的权重,而 Foundry 通过来源控制将每个模型与原始发布者绑定,从而实现对开放权重模型的引入。每个模型卡片都会标识这一绑定关系。随后,模型会在微软自身的容器中运行,这些容器会单独扫描关键漏洞。这些控制措施涵盖了模型的来源及其周围软件。
剩余的风险是可信提供方本身被入侵,例如通过其训练基础设施或内部人员。为了在这种情况下加强防护,我们已经开始实施本研究的建议。我们正在与内部 AI 安全团队合作,将检测技术转化为红队演练工具,并探索如何利用前沿代理进行权重扫描,作为引入开放权重模型时的额外安全信号。此外,还计划让模型通过可验证来源和防篡改审计进行签名。
从微软威胁情报获取保护和缓解指导。(在新标签页中打开)
以下是我们建议的起点:
(这并非详尽无遗;任何审计都无法保证安全行为。这些措施应作为纵深防御策略的一部分。)
这项研究始于三月的一个快速实验:我要求 Opus 4.5 的 Claude Code 通过硬编码几个激活项(无需训练)对模型进行后门植入。它确实做到了。该实验演变为对如今称为 Lazarus 的方法的数月研究。以下是我们的发现:
- 代理提供了巨大的攻击面。被植入后门的模型可以通过所有评估,然后在触发时发出攻击者的指令,代理会根据其拥有的访问权限执行该指令。
- 休眠神经元可以被改造成触发检测器。每个大型语言模型都有许多很少激活的神经元,这些神经元可以被重新编程为仅在出现触发词时激活。这之所以可行,是因为预训练过程非常有效地组织了内部表示,以至于仅用约 50 个示例训练的线性分类器就能区分带有触发词和不带触发词的输入。
- 一个被重新编程的神经元可以注入一个标记。一旦被重新编程的神经元激活,它可以通过将标记强行注入残差流来强制生成任意标记。你可以通过串联多个神经元来实现任意有效载荷,这些载荷可以直接在你的终端运行。
- 它只需要推理计算资源。如果你的机器有足够的内存运行模型,就足以对其进行权重空间后门植入。
- 这并不是反对开放权重的案例。该攻击只需对检查点具有写入权限,因此内部开发的模型同样面临风险。被入侵的账户、流水线或存储就足以构成威胁。关键在于权重完整性和来源。
- 权重应像代码一样接受审计。前沿代理可以检测异常的权重修改,但扫描并非常见实践。这种状况需要改变。
- [!!!] Opus 4.5 的 Claude Code 自主发现了大部分内容
这是 Lazarus 工作原理的简化示意图。
阅读完整文章
(在新标签页中打开)
相关出版物
Card
Lazare veni foras: 通过重新编程休眠神经元对 AI 代理进行后门植入
作者介绍
Card column wrapper
Card body
Dimitris Papailiopoulos
首席研究员
Card footer
了解更多
研究领域
/think
- 人工智能
- 人类语言技术
相关实验室
- Microsoft Research Catalyst Lab