Computing Effective Dimension for Quantum ML Models in PyTorch
TL;DR · AI 摘要
本文介绍了如何在 PyTorch 中计算量子机器学习模型的有效维度,提供代码示例和实验方法。
核心要点
- 有效维度衡量量子模型能区分的参数方向数量,反映模型容量。
- Fisher 信息矩阵估计和参数空间积分是计算有效维度的关键步骤。
- PennyLane 和 PyTorch 可用于实现有效维度的计算。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- 有效维度计算
- 量子机器学习模型
- Fisher 信息矩阵估计
- 参数空间积分
- 实现工具
- PyTorch
- PennyLane
金句 / Highlights
值得收藏与分享的关键句。
有效维度衡量量子模型能区分的参数方向数量,反映模型容量。
Fisher 信息矩阵的估计和参数空间积分是计算有效维度的关键步骤。
PennyLane 和 PyTorch 可用于实现有效维度的计算。
如何在 PyTorch 中计算有效维度
机器学习
在 PyTorch 中为量子机器学习模型计算有效维度
本地和全局变体、Fisher 估计、epsilon 球采样和 log 空间稳定性,附带 PennyLane 代码和一个时间序列实验。
Adrian Panasiewicz
2026 年 11 月 15 日
14 分钟阅读
在 Google 上推荐我们
分享
特色图片。一张复古地图上的木质罗盘玫瑰,象征着在量子机器学习模型的参数空间中寻找信息方向。照片由 Monstera Production 提供,来源:Pexels。
罗盘是一种用于寻找方向和测量行进方向的工具。在本文中,有效维度在量子机器学习模型中扮演着类似的角色。它衡量电路实际上能够区分的参数方向的数量,因此也衡量了模型容量的使用程度。罗盘象征着在大参数空间中寻找信息方向,而背景中的地图则代表模型在训练过程中探索的地形。
本文由 Jacob L. Cybulski 共同撰写。
我们如何实际实现有效维度?
本文是关于理解有效维度作为量子模型学习能力度量的两部分系列文章的第二部分。在第一篇文章中,我们构建了有效维度背后的直觉,并讨论了为什么仅仅计算原始参数数量并不能告诉我们模型真正有多复杂。虽然第一部分侧重于该度量的理论方面,但本文将逐步解释如何在 PyTorch 中实现它。
有效维度源自数学和信息理论中的统计复杂度度量,并随后被用于量化经典和量子机器学习模型的容量和表现力——以及后来的可训练性[1, 2]。从根本上说,这个指标回答了一个简单的问题:我们的模型中有多少参数方向是数据实际上能够区分的?
当我们查看有效维度的数学公式(在第一部分中已解释)时,有两个实际挑战立即显现出来:
- 我们如何为任意模型估计 Fisher 信息矩阵?
- 我们如何计算模型参数空间上的积分?
这两个挑战听起来可能令人望而生畏,但它们都有清晰且实用的解决方案。在本指南中,我们将分解这两个挑战,并展示如何在代码中可靠地计算有效维度。
估计 Fisher 信息矩阵
在计算有效维度之前,我们需要估计 Fisher 信息矩阵(FIM)。我们为选定的参数向量 θ 和给定的输入样本 x 计算这个矩阵。
为了具体说明其机制,考虑一个参数化的量子电路。当进行模拟时,电路返回一个量子态向量:
$$ \ket{\psi(\boldsymbol{x}, \boldsymbol{\theta})}. \tag{1} $$
在计算基中测量结果 y 的概率由振幅的平方模给出:
$$ p(y \mid \boldsymbol{x}; \boldsymbol{\theta}) = \left|\braket{y \mid \psi(\boldsymbol{x}, \boldsymbol{\theta})}\right|^2. \tag{2} $$
对于每个具有非可忽略概率的测量结果,我们使用 PyTorch 的自动微分(autograd)来计算概率相对于电路参数的梯度:
$$ \frac{\partial}{\partial \theta_k} \tag{3} $$
$$ \left( \frac{\partial}{\partial\theta_1}p(y \mid \boldsymbol{x}; \boldsymbol{\theta}), \frac{\partial}{\partial\theta_2}p(y \mid \boldsymbol{x}; \boldsymbol{\theta}),\dots, \frac{\partial}{\partial\theta_k}p(y \mid \boldsymbol{x}; \boldsymbol{\theta})\right), \tag{3} $$
$$ 3 $$
其中 $k$ 是模型参数的数量。理论上,Fisher 信息矩阵的 $(i,j)$ 元素定义为所有可能输入和输出的期望值:
$$ F_{(i,j)}(\boldsymbol{\theta}) = \mathbb{E} \left[ \left(\frac{\partial}{\partial\theta_i} \log p(\boldsymbol{x},{y};\boldsymbol{\theta})\right) \left(\frac{\partial}{\partial\theta_j} \log p(\boldsymbol{x},{y};\boldsymbol{\theta})\right) \middle| \,\boldsymbol{\theta} \right]. \tag{4} $$
$$ \log $$
$$ 4 $$
对于几乎所有现实世界中的模型,这个期望值都没有闭合形式。我们无法在整个数据分布上评估所有可能的输出。相反,我们通过在一组代表性的 $\ell$ 个数据样本上取平均来近似它。这给出了经验 Fisher 信息矩阵:
$$ \tilde{\boldsymbol{F}}_{(i,j)}(\boldsymbol{\theta}) := \frac{1}{\ell} \sum_{m=1}^\ell \left(\frac{\partial}{\partial\theta_i} \log p(\boldsymbol{x}_m,{y}_m;\boldsymbol{\theta}) \right) \left( \frac{\partial}{\partial\theta_j} \log p(\boldsymbol{x}_m,{y}_m;\boldsymbol{\theta}) \right). \tag{5} $$
$$ := $$
$$ 5 $$
利用恒等式 $\frac{\partial}{\partial\theta_i} \log p = \frac{1}{p}\frac{\partial p}{\partial\theta_i}$,其中概率的参数保持隐式,外积变为:
$$ \left( \frac{\partial}{\partial\theta_i} \log p \right) \, \cdot \left(\frac{\partial}{\partial\theta_j} \log p\right) = \frac{1}{p^2}\frac{\partial p}{\partial\theta_i} \, \frac{\partial p}{\partial\theta_j}. \tag{6} $$
$$ 6 $$
当用输出概率 $p$ 加权时,分母可以干净地抵消为 $p$。
在实践中,如果某个输出的概率接近于零,除以 $p$ 可能会导致数值错误。为了避免除以零,我们引入一个很小的阈值(min_probability),跳过可以忽略的输出。
以下函数展示了如何在 PyTorch 中为给定输入估计 Fisher 矩阵:
weights = net.qlayers.weights
flat_weights = weights.reshape(-1)
k_params = flat_weights.numel()
# 获取模型输出概率
state = net.state_circuit(inputs, weights)
probabilities = torch.abs(state) ** 2
probabilities = probabilities.reshape(-1)
fisher = torch.zeros(
(k_params, k_params),
dtype=weights.dtype,
device=weights.device,
)
for probability in probabilities:
if probability.detach() > min_probability:
gradient = torch.autograd.grad(
probability,
weights,
retain_graph=True,
)[0].reshape(-1)
fisher += torch.outer(gradient, gradient) / probability参数采样:求解积分
有效维度的公式涉及参数空间 $\Theta$ 上的积分。对于全局有效维度,我们对整个参数空间进行积分。对于局部有效维度,我们只对特定感兴趣点(如我们的训练权重)周围半径为 $\varepsilon$ 的球进行积分。
由于这个积分无法解析求解,我们使用蒙特卡洛方法。蒙特卡洛积分的基本思想是直接的:
- 从参数空间中随机且均匀地采样样本点。
- 在每个采样点上评估函数。
- 将所有结果取平均。
随着随机样本数量的增加,样本平均值会逐渐收敛到积分的真实体积平均值。这避免了直接计算复杂积分的需要。
全局有效维度的采样
在参数化量子电路中,门参数是自然限制在 0 0 0 和 2 π 2\pi 2 π 之间的状态旋转角度。为了评估全局有效维度,我们只需从该区间中独立且均匀地对每个参数进行采样:
∼
U
0
π
(7)
\theta_i \sim \mathcal{U}(0, 2\pi). \tag{7}
7
我们可以使用一个简单的辅助类来实现这个均匀参数采样器:
class UniformParameterSpace:
def __init__(self, low, high, shape, dtype=torch.float32, device="cpu"):
self.low = low
self.high = high
self.shape = shape
self.dtype = dtype
self.device = device
def sample(self):
return torch.empty(
self.shape, dtype=self.dtype, device=self.device
).uniform_(self.low, self.high)局部有效维度的采样:为什么简单的采样方法会失败
对于局部有效维度,我们希望从以参考参数向量 θ ∗ \theta^* θ ∗ 为中心、半径为 ε \varepsilon ε 的球(ε-球)中均匀采样。
乍看之下,从圆或球中进行均匀采样似乎很简单。在二维极坐标中,一个点由其到中心的距离 r r r 和其角度 ϕ \phi ϕ 定义。人们可能会倾向于这样写:
r
ε
和
ϕ
(8)
r \sim \mathcal{U}(0, \varepsilon) \quad \text{and} \quad \phi \sim \mathcal{U}(0, 2\pi). \tag{8}
8
然而,这种简单的方法是失败的。如果我们用这种方式采样 10,000 个点并绘制它们的位置,会发现点在中心附近高度集中,而边缘区域则稀疏(见图 1)。
图 1. 对 r r r 和 ϕ \phi ϕ 进行均匀采样不会在圆盘上产生均匀的采样。点明显集中在中心,而外围区域覆盖稀疏。图片由作者提供。
图 1 显示,对半径 r 和角度 φ 进行均匀采样并不能在圆盘上产生均匀分布。左图显示了单位圆盘上的采样点,中心附近有明显的集中现象。右图通过绘制估计密度 N(R)/(πR²) 与圆盘半径 R 的关系来量化这一现象。随着 R 的增加,密度迅速下降,这证实了外围区域的覆盖比中心稀疏得多。
为了理解这个问题,想象将圆盘分割成多个等宽的环形带。由于 r r r 是均匀采样的,每个环形带对应相同的间隔 Δ r \Delta r Δ r,因此获得相同的概率质量。我们将这个相等的概率质量表示为 Δ P \Delta P Δ P。换句话说,Δ P \Delta P Δ P 是一个采样点落在特定环形带内的概率。
图 2 解释了为什么这会导致非均匀采样。每个环形带都接收到相同的概率质量 Δ P \Delta P Δ P,因为所有环形带的宽度 Δ r \Delta r Δ r 相同,且 r r r 是均匀采样的。然而,外层环形带的面积远大于相同宽度的内层环形带(A4 ≫ A1)。
图 2。该图展示了为什么在 $ r $ 和 $ \phi $ 上进行均匀采样不会从圆盘中产生均匀采样。虽然具有相同的概率质量 $ \Delta P $,但最外层的面积要大得多($ A_4 \gg A_1 $),因此 $ \rho_1 \gg \rho_4 $。图片由作者提供。
图 2 解释了为什么在半径和角度上进行均匀采样不会在圆盘上产生均匀采样。该图突出了两个具有相同径向宽度 $ \Delta r $ 和角度宽度 $ \Delta \theta $ 的单元格,因此具有相同的概率质量 $ \Delta P $。最内层单元格 $ S_1 $ 的面积为 $ A_1 $,而最外层单元格 $ S_4 $ 的面积为 $ 7A_1 $。由于相同的概率质量分布在最外层单元格的更大面积上,那里的点密度远低,因此 $ \rho_1 $ 远大于 $ \rho_4 $。
因此,相同数量的采样点被分布在最外层区域的更大面积上。点密度因此为:
$$ \rho_i = \frac{\Delta P}{A_i}. \tag{9} $$
由于 $ A_4 \gg A_1 $,我们得到:
$$ \rho_1 \gg \rho_4. \tag{10} $$
简而言之,在半径上进行均匀采样会使每个径向带具有相等的概率,而不是每个等面积区域具有相等的概率。这就是为什么点会聚集在圆盘的中心附近。
为了在 $ k $ 维空间中均匀地分布点,我们需要将更多的点拉向外层壳。我们通过将半径与维度的根进行缩放来实现这一点:
- 通过从标准正态分布中采样并对其长度进行归一化,从单位球上选择一个随机方向 $ \boldsymbol{u} $:$ \boldsymbol{u} = \frac{\boldsymbol{z}}{\|\boldsymbol{z}\|_2}, \quad \boldsymbol{z} \sim \mathcal{N}(0, \boldsymbol{I}) $. \tag{11}
- 使用均匀随机变量 $ q \sim \mathcal{U}(0, 1) $ 对半径进行缩放:$ r = \varepsilon \, q^{1/k} $. \tag{12}
- 将点移动以使其中心位于 $ \boldsymbol{\theta}^* $:$ \boldsymbol{\theta} = \boldsymbol{\theta}^* + r \boldsymbol{u} $. \tag{13}
指数 $ 1/k $ 精确地补偿了高维球体体积的快速增长,确保球体内的每个区域都具有相同的点密度。
以下是 $ \varepsilon $-球采样器的完整实现:
class EpsilonBallParameterSpace:
def __init__(self, center, epsilon, generator=None):
if epsilon <= 0:
raise ValueError("epsilon must be positive")
self.center = center.detach().clone()
self.epsilon = epsilon
self.generator = generator
self.dimension = self.center.numel()
def sample(self):
# 1. Random direction on the unit sphere
direction = torch.randn(
self.dimension,
dtype=self.center.dtype,
device=self.center.device,
generator=self.generator,
)
direction = direction / torch.linalg.vector_norm(direction)
# 2. Scale radius by q^(1/d) to achieve uniform volume density
radius = self.epsilon * torch.rand(
(),
dtype=self.center.dtype,
device=self.center.device,
generator=self.generator,
).pow(1.0 / self.dimension)
return (self.center.reshape(-1) + radius * direction).reshape_as(self.center)综合起来:稳定计算
现在我们能够对参数进行采样并计算 Fisher 矩阵,我们可以评估有效维度。
首先,我们通过在输入数据集 { x j } \{\boldsymbol{x}_j\} { x j } 上取平均,来估计每个采样参数配置 θ i \boldsymbol{\theta}_i θ i 的经验 Fisher 矩阵,该数据集的大小为 N x N_x N x :
N
(14)
\tilde{\boldsymbol{F}}(\boldsymbol{\theta}_i) = \frac{1}{N_x} \sum_{j=1}^{N_x} \boldsymbol{F}(\boldsymbol{\theta}_i, \boldsymbol{x}_j). \tag{14}
14
接下来,遵循 Abbas 等人 [1] 的方法,我们将这些矩阵归一化,以在固定的信信息预算( k k k )内进行操作:
^
T
(15)
\hat{\boldsymbol{F}}(\boldsymbol{\theta}_i) = \frac{k \cdot \tilde{\boldsymbol{F}}(\boldsymbol{\theta}_i)}{\mathrm{Tr}\left(\frac{1}{N_\theta} \sum_{j=1}^{N_\theta} \tilde{\boldsymbol{F}}(\boldsymbol{\theta}_j)\right)}. \tag{15}
Tr
15
这里,N θ N_\theta N θ 是从参数空间中均匀采样的参数集数量,因此内部的求和表示预期的 Fisher 信息矩阵 F ˉ \bar{\boldsymbol{F}} F ˉ 。其迹 T r ( F ˉ ) \mathrm{Tr}(\bar{\boldsymbol{F}}) Tr ( F ˉ ) 量化了模型在所有方向上的总灵敏度。通过除以这个基准并按 k k k 进行缩放,可以确保每个参数的平均信息预算为 1 1 1 ,从而防止原始梯度规模扭曲有效维度计算。
我们现在可以使用蒙特卡洛积分来评估参数空间上的积分。
对于选定的数据集大小分辨率 n n n ,我们定义分辨率尺度因子,其超参数 γ ∈ ( 0 , 1 ] \gamma \in (0, 1] γ ∈ ( 0 , 1 ] (通常设置为 1 1 1 ):
κ
γ
(16)
\kappa_{n,\gamma} = \frac{\gamma n}{2\pi \log n}. \tag{16}
16
这个因子充当一个观测透镜:更大的数据集 n n n 允许更精细的统计分辨率,使较弱的、次要的参数方向更加清晰。
对于每个参数样本 θ j \boldsymbol{\theta}_j θ j ,我们计算对数体积贡献:
det
+
(17)
r_j=\frac{1}{2}\log\det\left[ \boldsymbol{I} + \kappa_{n,\gamma} \hat{\boldsymbol{F}}(\boldsymbol{\theta}_j) \right]. \tag{17}
17
最后,我们通过所有 N θ N_\theta N θ 个参数样本对这些贡献取平均,得到有效维度的蒙特卡洛估计:
d
(18)
d_{n,\gamma} = \frac{2}{\log(\kappa_{n,\gamma})} \log \left[ \frac{1}{N_\theta} \sum_{j=1}^{N_\theta} e^{r_j} \right]. \tag{18}
18
值得一提的是,蒙特卡洛采样通过 F ( θ , x ) \boldsymbol{F}(\boldsymbol{\theta}, \boldsymbol{x}) F ( θ , x ) 捕获了所有模型梯度及其方向灵敏度。这种依赖性在公式 (14) 中是隐式的,但在之前的公式 (5) 中是显式的。
为什么 Log-Sum-Exp 重要
如果你直接计算 det [ I + κ F ^ ] \det[\boldsymbol{I} + \kappa \hat{\boldsymbol{F}}] det [ I + κ F ^ ] ,你的代码几乎肯定会在参数数量超过几十个的模型中溢出到 inf。因为行列式将 k k k 个特征值相乘,用原始算术计算它会迅速超出标准浮点数的限制(例如,float32 在 ≈ 10 38 \approx 10^{38} ≈ 1 0 38 时溢出)。
为了确保计算稳定性,我们在对数空间中执行整个计算:
- 我们使用 torch.linalg.slogdet 来计算 $ r_j = \frac{1}{2} \log \det \left[ \boldsymbol{I} + \kappa_{n,\gamma} \hat{\boldsymbol{F}}(\boldsymbol{\theta}_j) \right] $,该方法可以直接返回对数行列式的值,而无需显式构造爆炸性乘积。
- 我们使用对数求和指数恒等式来计算外样本平均值:$ \log \left[ \frac{1}{N_\theta} \sum_{j=1}^{N_\theta} e^{r_j} \right] = \mathrm{logsumexp}([r_1, \dots, r_{N_\theta}]) - \log N_\theta. \tag{19} $ 在 PyTorch 中,这是通过 torch.logsumexp 实现的,该方法在内部会提取最大项 $ \max(r_j) $,以完全防止数值溢出。
在确保数值稳定性之后,我们现在来看实现。下面是用于在参数样本之间收集经验 Fisher 矩阵的函数:
def sample_empirical_fishers(
net,
parameter_space,
inputs,
n_theta=100,
min_probability=1e-12,
):
if inputs.ndim == 1:
inputs = inputs.unsqueeze(0)
original_weights = net.qlayers.weights.detach().clone()
fisher_matrices = []
try:
for _ in range(n_theta):
sampled_weights = parameter_space.sample()
sampled_weights = torch.as_tensor(
sampled_weights,
dtype=original_weights.dtype,
device=original_weights.device,
).reshape_as(original_weights)
with torch.no_grad():
net.qlayers.weights.copy_(sampled_weights)
cfims_for_theta = []
for x in inputs:
cfim = compute_cfim_for_input(
net,
x,
min_probability=min_probability,
)
cfims_for_theta.append(cfim)
empirical_fisher = torch.stack(cfims_for_theta).mean(dim=0)
fisher_matrices.append(empirical_fisher)
finally:
# Always restore original weights
with torch.no_grad():
net.qlayers.weights.copy_(original_weights)
return torch.stack(fisher_matrices)在获得样本 Fisher 矩阵后,主函数将评估一个或多个选定数据集规模 $ n $ 上的有效维度:
def estimate_effective_dimension(
net,
inputs,
parameter_space,
normalize=False,
n_theta=100,
min_probability=1e-12,
sample_sizes=None,
):
if sample_sizes is None:
sample_sizes = [len(inputs)]
d = net.qlayers.weights.numel()
# 1. Collect Fisher matrices across parameter space
fishers = sample_empirical_fishers(
net=net,
parameter_space=parameter_space,
inputs=inputs,
n_theta=n_theta,
min_probability=min_probability,
)
# 2. Normalize by the average trace
mean_fisher = fishers.mean(dim=0)
mean_fisher_trace = torch.trace(mean_fisher)
if mean_fisher_trace <= 0:
raise ValueError("Mean Fisher trace must be positive.")
f_hat = d * fishers / mean_fisher_trace
identity = torch.eye(d, dtype=fishers.dtype, device=fishers.device)
effective_dimensions = []
# 3. Evaluate for each dataset scale n
for n in sample_sizes:
if n <= 1:
raise ValueError("Dataset size n must exceed 1.")
kappa = n / (2.0 * math.pi * math.log(n))
if kappa <= 1.0:
raise ValueError("Theoretical dataset size is too small; kappa must exceed 1.")
# Compute log-determinant safely
matrices = identity.unsqueeze(0) + kappa * f_hat
log_determinants = torch.linalg.slogdet(matrices).logabsdet
log_integrand = 0.5 * log_determinants
# Combine samples using logsumexp to avoid overflow
ed = (
2.0
* (torch.logsumexp(log_integrand, dim=0) - math.log(n_theta))
/ math.log(kappa)
)
effective_dimensions.append(ed.item())
if normalize:
return [value / d for value in effective_dimensions]
else:
return effective_dimensions关于局部与全局的说明:局部有效维度的代码与全局有效维度的代码完全相同。唯一的区别是传递给 parameter_space 的采样器:我们传递的是一个以训练权重为中心的 EpsilonBallParameterSpace,而不是 UniformParameterSpace。
分析实验结果
为了了解有效维度在实际中的表现,让我们来看一个使用 PennyLane 和 PyTorch 构建的参数化量子神经网络的实验(图 3)。
图 3. 实验中使用的量子神经网络架构。该电路由两个部分组成:一个 ZZ 特征图,它将输入数据编码为量子态,以及一个由强纠缠层组成的可训练 ansatz。在这些实验中,电路深度指的是 ansatz 中旋转层和纠缠层重复的次数。图片由作者提供。
图 3 显示了实验中使用的量子神经网络架构。第一部分是一个 ZZ 特征图,它使用 Hadamard 门、单量子比特 RZ 旋转和夹在 CNOT 对之间的 RZ 门来将输入数据编码为量子态,以编码成对的相互作用。第二部分是一个由强纠缠层构建的可训练 ansatz,其中每个量子比特接收一个参数化的旋转,然后通过 CNOT 门将量子比特纠缠在一起。电路深度指的是这个 ansatz 的重复次数,输出通过测量四个量子比特中的两个来读取。
模型被训练用于预测混沌的 Mackey-Glass 时间序列。为了保留数据的时间结构并避免从未来的观测中泄露信息,数据集按照时间顺序被划分为训练集、验证集和测试集,如图 4 所示。模型参数使用训练集进行优化,而超参数选择和训练监控则使用验证集完成。随后,使用保留的测试集对局部和全局有效维度进行了评估。
图 4. Mackey-Glass 时间序列数据集的时间顺序划分。图片由作者提供。
图 4 展示了 Mackey-Glass 时间序列是如何按时间顺序划分为训练集、验证集和测试集的。该序列在大约 0.1 和 1.0 之间不规则地振荡。训练集覆盖了序列的前半部分,直到大约时间步 930。验证集紧随其后,直到大约时间步 1,270,而测试集包含序列的最后部分。这种划分保留了时间顺序,因此模型总是基于训练数据之后的数据进行评估。
为了比较不同深度的 QML 模型,我们在每个深度上运行了 20 次超参数搜索试验,并选择验证损失最低的模型。随后,我们使用测试数据集在 10 个参数样本上计算了该模型的局部有效维度(LED)、全局有效维度(GED)和测试损失。我们对 7 个不同的随机种子重复了这一过程,以估计采样均值的标准误差。结果如图 5 所示。
图 5. 全局和局部有效维度以及测试损失作为电路深度的函数。在除以模型参数数量 $k$ 之前报告了总有效维度(ED),而每个参数的有效维度定义为总 ED 除以 $k$。这两个量都保留了 Fisher 信息矩阵基于迹的归一化方式。总 ED 通常随着深度增加而增加,直到达到一个平台期,而每个参数的有效维度最初增加,随后减少。图片由作者提供。
图 5 比较了电路深度从 1 到 30 时局部和全局有效维度与测试损失的关系。在顶部的图表中,未归一化的有效维度随着深度增加而增加,并在较深的深度开始趋于平稳,大约达到 100。在底部的图表中,有效维度除以模型参数数量后,首先增加,在中等深度达到峰值,然后减少。在大多数深度上,局部和全局的测量值非常接近。测试损失在最初的几个深度迅速下降,之后保持较低水平,除了在深度 14、16 和 21 处出现孤立的峰值。阴影区域表示均值的标准差,虚线表示不同随机种子下的最小值和最大值。
通过分析这些曲线,可以得出以下几点观察:
- 在较小的电路深度下,增加模型大小通常与较低的测试损失和较高的局部和全局有效维度相关。这表明额外的参数最初以对预测有用的方式扩展了模型的容量。
- 随着电路深度的增加,测试损失的改进逐渐减弱,而归一化有效维度开始下降。这种模式与额外参数带来的边际效益递减一致:更多的参数并不一定意味着更可区分的参数方向或更好的预测效果。因此,有效容量的增长无法跟上模型规模的增长。在更深的层次上,电路达到了其过度参数化的阈值。额外的参数引入了冗余的方向,这些方向与接近零的特征值相关,导致有效维度趋于稳定。
- 我们可以注意到,下界异常值(用虚线标记)偏离均值的程度比上界异常值更明显。为了解释这一点,我们可以指出,量子模型的容量最终受到希尔伯特空间维度的限制,而希尔伯特空间维度是有效维度的上限(更具体地说,上限是 2 ⋅ 2 n − 2 2\cdot2^{n}-2 2 ⋅ 2 n − 2,其中 n n n 是量子比特的数量)。因此,上界异常值的幅度受到限制,而下界异常值似乎没有这样的限制。模型参数可以初始化在信息平坦的区域,导致有效维度较低。由于我们在实验中使用了少量的量子比特,很难将这种效应归因于 barren plateaus(贫瘠高原)。然而,它可能是一个诊断具有更多量子比特的模型中 barren plateaus 的有用工具。
- 即使在中等深度下,总 GED 和总 LED 仍然非常接近,因为行列式项 ( det [ I + κ n , γ F ^ ] ) \left( \det \left[ \boldsymbol{I} + \kappa_{n,\gamma} \hat{\boldsymbol{F}} \right] \right) ( det [ I + κ n , γ F ^ ] ) 主要由最大的特征值 ( λ m ≫ 1 / γ n ) (\lambda_m \gg 1/\gamma_n) ( λ m ≫ 1/ γ n ) 主导。这些主导方向在全局和局部设置中都占了大部分原始值。然而,除以参数数量会使次主导特征值之间的微小差异更加明显,尤其是在较浅的深度下。LED 通过以训练为重点的采样抑制了这些贡献,而 GED 则通过更广泛的采样保留了这些贡献。
结论
计算有效维度需要大量的计算资源。由于蒙特卡洛积分需要在许多参数配置和数据样本上评估 Fisher 矩阵,运行时间与 N θ × N x N_\theta \times N_x N θ × N x 成正比。对于量子电路或更大的经典网络,选择合理的样本大小 ( N θ ≈ 50 – 100 ) (N_\theta \approx 50\text{--}100) ( N θ ≈ 50 – 100 ) 对于平衡准确性和计算时间非常重要。请注意,即使在高端计算机上,完成包括训练和评估 LED 和 GED 在内的计算可能需要几天时间。
尽管计算成本较高,有效维度提供了一种实用且基于实际的方法来检查模型实际在做什么。通过跟踪有多少参数方向真正具有信息量,你可以诊断冗余、检测过度参数化,并比仅仅计算权重数量更好地理解模型容量。
用于重现实验的实现和脚本可在附带的仓库 [3] 中找到。
参考文献
[1] A. Abbas, D. Sutter, C. Zoufal, A. Lucchi, A. Figalli, 和 S. Woerner, "量子神经网络的力量", *Nature Computational Science*, 第 1 卷, 第 6 期, 第 403-409 页, 2021. DOI: 10.1038/s43588-021-00084-1.
[2] A. Abbas 等人, “机器学习模型的有效维度”, arXiv 预印本 arXiv:2112.04807, 2021.
[3] A. Panasiewicz 和 J. L. Cybulski, 有效维度 TDS: 实验的源代码, GitHub 仓库, 2026. 可用: https://github.com/AdrianPanasiewicz/Effective_dimension_tds