Towards Data Science

How to Build a Markov Chain in Python With NumPy

8.5内容质量

TL;DR · AI 摘要

本文通过一个写作实验,详细讲解了如何使用 Python 和 NumPy 构建马尔可夫链,并介绍了转移矩阵、平稳分布等核心概念。

核心要点

  • 马尔可夫链的转移概率可以用矩阵表示,便于计算多步转移概率。
  • 平稳分布描述了系统长期状态的概率分布,是马尔可夫链的重要特性。
  • 使用 NumPy 可以高效实现马尔可夫链的模拟和计算。

结构提纲

按章节快速跳转。

  1. 通过一个写作实验,引出马尔可夫链的概念和应用场景。

  2. 将写作过程分为三个状态,并用转移概率矩阵描述状态之间的转换。

  3. 解释马尔可夫链的核心特性,即当前状态决定未来状态,与过去无关。

  4. 介绍如何使用 Python 和 NumPy 实现马尔可夫链的模拟和计算。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 马尔可夫链的构建与应用
    • 写作实验
      • 三个状态:Drafting, Revising, Distracted
      • 转移概率矩阵
    • 马尔可夫性质
      • 当前状态决定未来状态
      • 与过去无关
    • 实现方法
      • Python 和 NumPy
      • 平稳分布计算

金句 / Highlights

值得收藏与分享的关键句。

#Python#NumPy#马尔可夫链#概率模型
打开原文

用 Python 和 NumPy 解释马尔可夫链

统计学

如何使用 Python 和 NumPy 构建马尔可夫链

逐步指南,介绍转移矩阵、Chapman–Kolmogorov 方程和平稳分布,围绕一个三状态写作示例进行构建。

Ananya Bhattacharyya

2026年11月14日

13分钟阅读

更喜欢我们在 Google 上的版本

分享

图片来自 Pexel by lil artsy

让我们从一个熟悉的例子开始:坐下来写一篇文章。你有一个想法,你有一个基本的结构,甚至可能有一个截止日期。你开始写作。第二天你可能继续写作,你可能在编辑,你可能完全被其他事情分散了注意力。一些研究变成了大量的研究。在你意识到之前,你打开了十七个浏览器标签,有三个潜在的标题,但什么也没有。

现在,如果我们能够用数学术语来描述这个非常不稳定的进程会怎样?如果我们能够根据今天所做的事情来计算明天有生产力的概率会怎样?

这就是马尔可夫链变得有趣的地方。

马尔可夫链是一种数学模型,用于描述一个系统随着时间从一个状态演变为另一个状态的过程。在给定当前状态的情况下,过去在预测下一个状态时是无关紧要的。这就是马尔可夫性质。

在本文中,我们将使用一个小型虚构的写作练习示例来探讨马尔可夫链。我们将研究转移矩阵,计算多步概率,研究平稳分布,然后实际在 Python 中实现一个马尔可夫链。

我们还将讨论一个我认为值得更多关注的问题:仅仅因为我们能够将某事物建模为马尔可夫链,并不意味着我们一定要这样做。

1. 写作实验:三个状态,许多可能性

让我们想象一个作家在几天内撰写一篇文章。每天,我们将他们的活动分类为以下三种互斥状态之一:

  • 起草(D):积极撰写新内容。
  • 修改(R):编辑和改进现有内容。
  • 分心(X):做几乎所有事情,除了撰写文章。

图片由作者使用 Canva 制作

为了保持示例的可控性,假设我们每天观察一个状态,代表作者的主要活动。现在想象我们估计了以下转移概率:

今天的状态

明天起草的概率

明天修改的概率

明天分心的概率

起草

60%

30%

10%

修改

50%

20%

分心

40%

让我们解释表格的第一行。如果作者今天在起草,那么明天继续起草的概率是 60%,转移到修改的概率是 30%,分心的概率是 10%。有趣的是,如果他们今天分心,明天回到起草或修改的总概率仍然有 60%。拖延可能并不像我们有时认为的那样永久。

关键点是,我们已经用状态和在这些状态之间转移的概率来描述了作者的行为。这就是马尔可夫链的基础。

2. 马尔可夫性质:昨天真的不重要吗?

一阶马尔可夫链的显著特征是它的无记忆性。

数学上:

马尔可夫性质

在这里,(X_t) 表示时间 (t) 时过程的状态,而 (i) 和 (j) 表示可能的状态。

如果符号看起来令人望而生畏,不要担心。这个概念实际上比看起来要简单得多。

假设我们的作者今天正在撰写。根据转移概率,他们明天进行修改的概率是 30%。但假如他们昨天分心了呢?仍然是 30%。

又或者,他们已经连续五天都在撰写呢?答案仍然是 30%。

因此,本质上,一旦我们知道今天所处的状态,模型就不会使用之前的状态来决定明天的概率。

然而,一个看似合理的假设在现实中可能并非如此。一个连续五天都分心的作者,其行为可能与一个一直稳步进展的作者不同。

马尔可夫属性简单地假设今天所处的状态已经总结了所有对预测下一个状态相关的历史信息。这个假设是否合理,取决于我们所建模的系统,以及我们如何定义状态。

我们之后会再回到这个问题。

3. 理解转移概率矩阵

我们可以使用转移概率矩阵来表示我们的三状态系统:

行和列的顺序遵循撰写、修改、分心。每个元素表示在一步时间中从一个状态转移到另一个状态的概率。例如,第一行第二列的元素是 0.30,这表示从撰写状态转移到修改状态的概率。

一个有效的转移矩阵有两个重要的规则:

首先,每个元素必须在 0 和 1 之间。概率不能为负数或大于 1。

其次,每一行的元素之和必须为 1。例如,第一行给出:0.60 + 0.30 + 0.10 = 1

毕竟,明天作者必须处于我们定义的三个状态中的一个。满足这些条件的矩阵被称为行随机矩阵。一旦我们准备好了这个矩阵,我们就可以开始回答更多有趣的问题。

4. 预测两天后的情况:Chapman–Kolmogorov 方程

假设我们的作者今天正在撰写。我们知道他们明天进行修改的概率是 30%。但两天后他们进行修改的概率是多少呢?

有三种可能的路径可以实现这一点。

路径 1:撰写 → 撰写 → 修改

作者明天继续撰写,随后一天转为修改。

概率:0.60 * 0.30 = 0.18

路径 2:撰写 → 修改 → 修改

作者明天转为修改,随后一天继续修改。

概率:0.30 * 0.50 = 0.15

路径 3:撰写 → 分心 → 修改

作者明天分心,但随后一天返回修改。

概率:0.10 * 0.40 = 0.04

这些路径是互斥的,因此我们可以将它们的概率相加。

因此,从撰写状态开始,两天后处于修改状态的概率是 0.18 + 0.15 + 0.04 = 0.37 或 37%

这个计算说明了 Chapman–Kolmogorov 方程。对于一个时间齐次的马尔可夫链:

它告诉我们,两个状态之间在多个步骤中的转移概率可以通过考虑所有可能的中间状态来计算。幸运的是,我们不需要手动列举每一条路径。矩阵乘法正好可以做到这一点。

对于我们的例子,两步转移矩阵可以这样写。

第一行表示从撰写状态出发,两天后处于各个状态的概率。对于一个时间齐次的马尔可夫链,(n) 步转移矩阵是:

这正是马尔可夫链在计算上便捷的原因。一旦指定了转移矩阵,我们就可以计算未来状态的概率,而无需单独跟踪每一条可能的路径。

5. 稳态分布:我们最终会发现某种模式吗?

这里还有一个有趣的问题。如果作者持续在那三个状态之间切换非常长的时间,会发生什么呢?概率会一直变化下去吗?还是最终会趋于稳定?在我们的例子中,概率会收敛到一个稳定的分布,这被称为稳态分布。

设:

稳态分布满足:

以及:

对我们的转移矩阵求解这些方程得到:

这意味着什么呢?从长远来看,作者的状态概率趋于:

  • 起草:40%
  • 修改:40%
  • 分心:20%

在标准的遍历性条件下,这些也是在每个状态下花费时间的长期比例。因此,我们的假设作者大约有80%的时间在真正写作(即起草或修改)。然而,我们需要明确的是,稳态分布并不意味着系统停止改变状态。它只是意味着概率分布保持不变。作者仍然可能从起草状态转移到分心状态,从分心状态转移到修改状态,再回到起草状态。个体结果仍然是随机的。总体分布确实趋于稳定。此外,我们不应该假设每一个马尔可夫链都会收敛到其稳态分布。有些是周期性的,有些有多个通信类,有些有吸收状态。

6. 在 Python 中构建我们的马尔可夫链

让我们从方程转向实现。我们将使用 NumPy 进行计算,并使用 Matplotlib 可视化概率分布如何随时间变化。

首先,定义我们的转移矩阵。

python

code
import numpy as np
import matplotlib.pyplot as plt
states = ["Drafting", "Revising", "Distracted"]
P = np.array([
[0.60, 0.30, 0.10],
[0.30, 0.50, 0.20],
[0.20, 0.40, 0.40]
])
# 验证转移矩阵
assert np.all(P >= 0)
assert np.all(P <= 1)
assert np.allclose(P.sum(axis=1), 1)

计算两步转移矩阵

code
P2 = np.linalg.matrix_power(P, 2)
print(np.round(P2, 2))

输出:

code
[[0.47 0.37 0.16]
[0.37 0.42 0.21]
[0.32 0.42 0.26]]

再次,我们可以看到,从起草状态到修改状态在两天内的概率是 0.37。

预测接下来的 20 天

现在假设我们的作者今天肯定是在起草。

让我们计算接下来 20 天的概率分布。

code
initial = np.array([1.0, 0.0, 0.0])
days = np.arange(21)
probabilities = np.array([
initial @ np.linalg.matrix_power(P, int(n))
for n in days
])
print("Day 20 probabilities:")
for state, prob in zip(states, probabilities[-1]):
print(f"{state}: {prob:.4f}")

概率趋于 0.40、0.40 和 0.20。现在,让我们可视化收敛过程。

code
plt.figure(figsize=(10, 6))
for i, state in enumerate(states):
plt.plot(
days,
probabilities[:, i],
marker="o",
markersize=4,
label=state
)
plt.axhline(
0.40, color="gray",
linestyle="--", alpha=0.7
)
plt.axhline(
0.20, color="gray",
linestyle=":", alpha=0.7
)
plt.xlabel("Days into the future")
plt.ylabel("Probability")
plt.title("Markov Chain: Convergence of State Probabilities")
plt.xticks(days[::2])
plt.ylim(0, 1)
plt.legend()
plt.grid(alpha=0.25)
plt.tight_layout()
plt.show()

生成的图表显示,Drafting(起草)的初始概率逐渐降低,而Revising(修改)和Distracted(分心)的概率则逐渐增加。最终,状态概率趋于稳定。

模拟一次写作旅程

我想再演示一个区别。概率接近 40%、40% 和 20% 并不意味着每一段连续的十天都会恰好包含四天的起草、四天的修改和两天的分心。让我们模拟一个可能的序列。

code
rng = np.random.default_rng(42)
current_state = 0  # Drafting
path = [current_state]
for _ in range(29):
    current_state = rng.choice(
        len(states),
        p=P[current_state]
    )
    path.append(current_state)
print(" → ".join(states[i] for i in path))

结果是一个随机生成的 30 天轨迹。使用不同的随机种子运行模拟,你会得到不同的序列。这是理论概率分布与随机过程的一个具体实现之间的区别。

7. 马尔可夫链的重要性质

现在我们已经构建了一个工作示例,让我们来探讨决定马尔可夫链行为的性质。

7.1 时间齐次性

我们的示例假设转移概率在时间上保持不变。从 Drafting(起草)转移到 Revising(修改)的概率始终是 30%,无论我们考虑的是哪一天。

右边的表达式与时间无关。这是一个时间齐次链。现在想象一个作者面临一个非常紧迫的出版截止日期。随着截止日期的临近,从 Distracted(分心)转移到 Drafting(起草)的概率可能会显著增加。此时转移概率将随时间变化。重要的是,即使时间非齐次,链仍然可以是马尔可夫链。时间齐次性和无记忆性是两个不同的假设。

7.2 不可约性

如果马尔可夫链中的每一个状态都可以以正概率从其他任何状态到达,那么该链是不可约的。在我们的示例中,作者可以在 Drafting(起草)、Revising(修改)和 Distracted(分心)之间进行转换。没有永久无法到达的状态。因此,我们的链是不可约的。这很重要,因为不可约性有助于确定链是否具有唯一的平稳分布。

7.3 非周期性

当马尔可夫链的状态只能在固定周期的间隔内再次访问时,该链是周期性的。例如,假设一个简化的系统在两个状态之间确定性地交替:

A → B → A → B → A.

从 A 开始,我们只能在偶数步后返回 A。它的周期是 2。

这个链可能具有平稳分布,但其概率分布并不一定从一个固定的初始状态收敛。我们的写作示例则不同。作者有正概率在第二天留在同一状态。这使链成为非周期性的。

对于有限状态的马尔可夫链,不可约性和非周期性共同保证其收敛到唯一的平稳分布。

7.4 吸收状态

吸收状态是指一旦进入就无法离开的状态。假设我们通过添加一个第四种状态 Published(已发布)来扩展我们的写作示例。

如果我们把 Published 定义为这个特定写作项目的完成,那么在该项目中就没有从 Published 返回到之前状态的转移。

我们可以将其表示为:

Published 状态是吸收状态。这类模型在研究具有明确终端事件的过程时非常有用。例如,包括保险索赔最终达成和解、组件永久失效或客户永久退出特定服务。然而,吸收链的行为与我们最初的不可约三状态模型有所不同。

一旦吸收成为可能,长期分布可能会被吸收状态主导。因此,我们不应自动将之前得出的 40%–40%–20% 稳态分布应用于扩展模型。

8. 但如果昨天实际上很重要呢?

到目前为止,我们假设知道今天状态就足以预测明天。

让我们挑战这一假设。假设我们收集了作者活动的实际观测数据并估计了以下概率。

昨天

今天

明天起草的概率

75%

45%

这些是为另一个实验设定的假设值。请注意,这两种情况下的当前状态是相同的:起草。然而,明天起草的可能性取决于昨天的状态。一个整天都在起草的人,明天继续起草的可能性远大于一个刚刚从分心的一天中重新投入起草的人。如果这种差异是真实的,而不仅仅是抽样误差,那么我们最初的马尔可夫假设就不足了。

形式上:

在这种情况下,我们可以考虑一个二阶马尔可夫模型:

现在下一个状态取决于前两个状态。或者,我们可以重新定义状态,以保留更多关于近期行为的信息。

例如,我们不再仅仅将某人描述为“起草”,而是可以区分以下几种情况:

  • 在起草之后起草
  • 在修改之后起草
  • 在分心之后起草

这会增加状态空间,但可能提供更丰富的信息。

马尔可夫模型并不需要完全忽略历史。它需要一个能够充分总结相关历史的状态表示。

这就是为什么选择状态通常比执行计算更困难。一个转移矩阵可能在数学上是有效的,但仍可能无法捕捉到基础过程的重要方面。

9. 马尔可夫链在实践中何时变得有用?

我们的示例涉及撰写文章,但这些数学方法适用于许多现实世界的问题。

在信用风险中,转移矩阵可以描述借款人信用评级类别的变化。在适当假设下,它们可用于估计多期评级迁移和违约概率。

在客户分析中,状态可能代表活跃客户、非活跃客户和流失客户。马尔可夫模型可以帮助描述客户在参与类别之间的流动。

在可靠性工程中,机器可能在正常运行、退化和故障状态之间转换。

在网页分析中,状态可以代表不同的页面或用户旅程的不同阶段。

在自然语言处理中,经典的基于马尔可夫的模型描述序列转换,尽管现代语言模型使用了显著更复杂的架构。

所有这些应用都基于相同的根本原理:以状态的形式建模系统,估计转移概率,然后观察系统如何演变。

但适当的状态定义、时间间隔和模型假设差异很大。例如,在信用风险建模中,转移概率可能取决于经济状况。在稳定时期估计的矩阵可能无法充分描述经济衰退期间评级迁移的情况。一个可能的扩展是根据经济制度估计不同的转移矩阵。这会引入额外的复杂性,但同时也可能产生更现实的预测。

10. 马尔可夫链能告诉我们什么,又不能告诉我们什么

还有一点最后的注意事项需要提及。我们的写作模型可以计算出在某个未来时间点处于起草、修改或分心状态的概率。但它能告诉我们文章实际上何时会被发表吗?也许不能,这取决于当前的状态定义。我们的三状态模型中没有完成事件。要回答这个问题,你必须以某种方式修改模型(例如,通过引入一个吸收状态“已发布”并指定进入该状态的转移概率)。这是一个普遍的建模教训。模型能够回答的问题将取决于我们如何定义其状态空间。马尔可夫链的计算可能很简单,但这并不意味着可以忽视仔细的建模决策。我们仍然需要考虑过去观察的相关性、转移概率的稳定性、状态定义的完整性,以及模型是否在从未见过的数据上表现良好。

最后想法

马尔可夫链提供了一种优雅的方式来理解随时间概率演变的系统。

通过一个相对简单的转移矩阵,我们可以计算未来状态的概率,研究长期行为,并探索系统在什么条件下会收敛到平稳分布。

但马尔可夫链最重要的部分并不是矩阵乘法。它是关于当前状态对未来能告诉我们什么的假设。

马尔可夫性质当然非常强大,因为它允许我们将一个非常复杂的过去转化为一个可以处理的东西。困难之处在于知道何时这样做是合理的。我们假设的作者可能整周都在拖延。数学可能选择忽略这段历史。至于明天是否同样宽容,完全是另一回事。

进一步阅读

  • J. R. Norris, *Markov Chains*, Cambridge University Press.
  • Sheldon M. Ross, *Introduction to Probability Models*.