Machine Learning Mastery

What Are Diffusion Language Models, and Why Are They Different From GPT?

7.1内容质量

TL;DR · AI 摘要

What Are Diffusion Language Models, and Why Are They Different From GPT? - MachineLearningMastery.com What Are Diffusion...

核心要点

  • 主题聚焦:What Are Diffusion Language Models, and Why Are
  • 来源:Machine Learning Mastery,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#产品#开源
打开原文

扩散语言模型是什么?它们与 GPT 有何不同? - MachineLearningMastery.com

扩散语言模型是什么?它们与 GPT 有何不同?

By

Kanwal Mehreen

on

November 10, 2026

in

Language Models

0

Share

Post

在本文中,你将学习扩散语言模型如何通过迭代优化掩码序列来生成文本,以及这种机制与 GPT 风格模型逐词生成方式之间的差异。

我们将涵盖的主题包括:

  • 自回归模型与掩码扩散模型在生成文本方式上的差异。
  • 前向扩散和反向扩散的工作原理,以及掩码如何将扩散机制适配到离散文本标记。
  • 扩散语言模型仍面临的挑战,从标记依赖性到键值缓存。

扩散本身并不是一个新概念。它在图像生成器中已广为人知,这些生成器能够将随机噪声转化为有意义的图像,相关工作在《去噪扩散概率模型》论文中首次提出。然而,问题在于,这种从噪声开始并逐步优化的思路更容易通过图像理解,因为图像由连续值组成。将这一思路应用于文本通常较为困难,因为文本由离散的标记 ID 构成,对一个标记 ID 添加少量高斯噪声无法生成有意义的邻近词。

然而,2025 年的 LLaDA、Mercury 和 Gemini Diffusion,以及 2026 年 Google 的 DiffusionGemma 等近期工作,因推理速度更快而引起了社区对扩散模型的关注。传统的大语言模型(LLM)通过预测下一个标记、将其添加到序列中并重复此过程来生成文本。但扩散模型可以同时预测多个位置,并在生成答案前优化其预测。这引发了社区的一个重大研究问题:

语言模型是否真的需要逐词生成?

我不会对此做出定论。此外,这个话题相当复杂,我并不期望你完全理解,因此我尽量减少了数学内容。但我想让你理解其背后的直觉。在本文中,我们将研究:

  • GPT 和扩散模型如何生成文本。扩散模型的实际工作原理。扩散模型中仍然存在的挑战,以及一些供你进一步探索的资源。

那么,我们开始吧。

自回归模型 vs. 扩散模型

GPT 模型本质上是自回归的,这意味着它们使用已生成的前缀来估计下一个标记。因此,如果考虑一个序列 $ x = (x_1, \dots, x_N) $,其概率分解为:

$$ p(x) = \prod_{i=1}^{N} p(x_i \mid x_1, \dots, x_{i-1}) $$

在训练过程中,你可以使用教师强制并行处理许多标记位置。但到了推理阶段,你必须等待之前生成的标记,才能选择下一个。这会引发序列依赖性问题。

另一方面,掩码扩散模型从未知位置的输出画布开始,逐步揭示标记。它可以在单个步骤中选择多个标记,且可能不按从左到右的顺序。让我通过下表帮助你更好地理解:

轮次

自回归输出

掩码扩散输出

1

The

code
[MASK] [MASK] [MASK] [MASK]

2

The cat

code
[MASK]

sat

3

The cat sat

4

The cat sat down

因此,你可以看到,尽管两者都使用了Transformer架构,但它们的目标和推理过程存在差异。自回归模型通过扩展序列生成输出,而扩散模型则通过优化序列逐步完善结果。

现在,我们将更深入地探讨扩散模型的工作原理。

扩散模型的实际运作方式

1. 前向扩散与反向扩散

让我们从图像扩散开始。扩散过程包含两个阶段:前向扩散和反向扩散。在前向扩散阶段,你会通过逐步添加噪声来破坏干净的数据,如下所示:

前向扩散过程通过添加噪声破坏图像。

随后,你需要训练神经网络来逆转这一过程,通常使用均方误差目标函数。采样过程则通过多步操作逆转这一破坏过程。前向(加噪)过程的标准表达式为:

$$ x_t = \sqrt{\bar{\alpha}_t}\, x_0 + \sqrt{1-\bar{\alpha}_t}\, \epsilon $$

其中,$ x_0 $ 表示干净数据,$ x_t $ 表示在噪声水平 $ t $ 时的损坏状态,$ \epsilon $ 是高斯噪声。

2. 文本的掩码扩散

如上所述,文本的token ID与图像中连续值的像素存在差异。因此,对于语言任务,通常通过将token替换为[MASK]来实现损坏。例如,如果你有一句话:

Machine learning models can generate text.

经过掩码处理后,可能变成:

Machine [MASK] models [MASK] generate [MASK] .

此时,模型需要从这个损坏序列中预测原始token。你可以将损坏程度 $ t $ 设置在 0 到 1 之间,然后以概率 $ t $ 独立地将每个token替换为[MASK]。因此,当 $ t = 0 $ 时,序列保持完整;当 $ t = 1 $ 时,所有token都被掩码。在训练过程中,模型会学习在不同噪声水平下恢复缺失的token。顺便提一下,掩码是最常见的方法之一,但还有其他替代方案。

那么,训练完成后推理阶段会发生什么呢?

3. 推理阶段的去噪

在推理阶段,我们使用一个采样器,其工作流程包括:(1) 初始化被掩码的输出位置,作为起始点;(2) 在所有未解决的位置预测词汇分布;(3) 根据某种置信度指标决定哪些预测结果需要确定,哪些需要保留掩码以供后续轮次处理(这只是一个实现层面的选择);(4) 重复该过程直到所有位置都被填充。此外,某些采样器可以根据句子生成情况重新掩码之前确定的token,这一过程通常称为“修订”,但并非所有采样器都具备这一特性。

在继续之前,还有两件重要的事情需要强调:

  • GPT风格的因果注意力机制使每个位置只能关注更早的位置。但许多扩散模型在活跃的去噪序列中使用双向注意力。这意味着在“The scientist presented [MASK] at the conference”中被遮蔽的词可以同时使用前后文信息。这对填充、编辑和结构化生成非常有用。但这并不意味着模型能看到正确的未来答案:周围位置可能仍然是遮蔽标记或错误猜测。还有一些混合设计,在已完成的块之间使用因果注意力,而在当前块内使用双向注意力。其次,当GPU高效处理并行token位置时,扩散模型在时钟延迟上可能具有优势。但结果还取决于许多其他因素。此外,质量同样重要,在某些推理和编码基准测试中,自回归模型仍然表现更优。你可以在模型卡片中查看DiffusionGemma 26B与Gemma 26B的对比结果。

扩散模型面临的挑战

我想强调一些仍在讨论中的重要问题,如果你对进一步探索这个主题感兴趣,我还会分享一些额外资源:

  • 标记依赖性:你可能已经从上面的讨论中有所了解,但若两个位置被并行采样,每个位置单独看可能都合理,但彼此之间可能存在不一致。可能需要更多去噪轮次、重新遮蔽和耦合采样来保持一致性。采样预算:激进的低步数采样可以提高延迟性能,但会增加质量损失风险,更多轮次可能削弱速度优势。因此需要在这两者之间找到良好平衡。可变输出长度:固定遮蔽画布本身无法自然判断答案应有多长。但有一些分块式和更灵活的编辑方法可以解决这个问题。键值(KV)缓存:双向优化可能改变块内的表示,使传统前缀缓存更难实现。分块解码通过冻结已完成的块来提供帮助。

最终思考与参考资料

我个人认为,扩散模型最好被理解为生成过程中计算资源分配的另一种方式,而不是GPT风格模型的自动替代方案。它们各有权衡,混合技术可能是实现生产部署的更优路径。如承诺的那样,以下是一些最佳资源或至少是良好的起点,你可以按自己的节奏进一步探索:

  • 去噪扩散概率模型 —— 基础性论文。如何构建扩散语言模型 —— 我个人最喜欢的一篇。LLaDA:大型语言扩散模型。DiffusionGemma:开发者指南。Dream 7B,一个大型扩散语言模型 —— 它是开源的,提供代码和模型检查点。突破分解限制 —— 关于并行预测之间依赖性的研究。

更多相关内容

  • 关于AI代理的7个最大误解(以及…
  • 如何获取基准结果及其重要性
  • 机器学习算法的工作原理(它们学习一个…
  • 为什么每次运行机器学习时结果都不同
  • 为下一个token预测创建Llama或GPT模型
  • 使用GPT-2模型进行文本生成

/.entry /think