Machine Learning Mastery

Floating-Point Precision and Its Effects to Model Inference

8.5内容质量

TL;DR · AI 摘要

浮点精度影响模型推理性能,需权衡精度、范围与硬件效率,PyTorch提供工具评估精度限制。

核心要点

  • 浮点精度影响模型推理速度与数值稳定性,需根据硬件特性选择格式。
  • float16/bfloat16可节省内存但可能引发下溢/上溢问题,需配合混合精度训练。
  • PyTorch的torch.finfo()可量化不同精度格式的数值范围与分辨率。

结构提纲

按章节快速跳转。

  1. 文章分为五部分,涵盖浮点数原理、精度格式、模型加载策略及效果评估方法。

  2. 浮点数由符号、指数和尾数组成,精度与范围存在根本性权衡。

  3. float32/float16/bfloat16在内存占用、数值范围和精度上存在显著差异。

  4. 关键操作需保留高精度以避免累积误差,需结合硬件特性设计混合策略。

  5. 通过量化误差分析和硬件性能测试验证精度选择的有效性。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 浮点精度与模型推理
    • 浮点数结构
      • 符号/指数/尾数组成
      • 精度与范围权衡
    • 精度选择策略
      • float32 vs float16
      • 混合精度应用
    • 效果评估方法
      • 数值范围分析
      • 误差累积测试

金句 / Highlights

值得收藏与分享的关键句。

#浮点精度#模型推理#PyTorch#机器学习
打开原文

浮点精度及其对模型推理的影响 - MachineLearningMastery.com

浮点精度及其对模型推理的影响

By

Adrian Tam

on

2026年11月7日

in

Transformer模型推理

0

Share

Post

模型是一组数字的集合。存储和计算这些数字所使用的格式会影响模型占用的内存大小、硬件移动这些数字的速度,以及哪些算术单元可以处理它们。因此,改变精度可以在不改变模型架构的情况下使推理更快。

较低的精度并不总是更好。如果目标硬件缺少合适的内核,某种格式可能会节省内存但运行缓慢。它可能表示大值但丢失小差异,或在零附近保留细微差异但因激活异常值而溢出。重要的问题不是哪种格式的位数最少,而是哪种格式满足质量要求并在部署硬件上高效实现。

在本文中,你将学习:

  • 浮点格式如何在范围、精度和内存使用之间进行权衡
  • 如何以合适的精度加载模型并处理敏感操作
  • 如何衡量精度变化对性能和质量的影响

让我们开始吧。

浮点精度及其对模型推理的影响。照片由Jean-Luc Benazet拍摄。部分权利保留。

概述

本文分为五个部分;它们是:

  • 浮点数的工作原理
  • 常见精度格式
  • 在不同精度下加载模型
  • 混合精度与敏感操作
  • 测量结果

浮点数的工作原理

浮点数包含符号、指数和尾数(通常称为有效数字)。指数决定了可以表示的幅度范围。尾数决定了可以区分的邻近值的精度。减少任一字段都会产生权衡。

值$6.5$的float32表示。

上图显示了一个正常的有限数。其尾数中的前导$1$是隐式的,因此23个存储的分数位提供了24位精度。全零和全一的指数字段分别编码次正规数或零,以及无穷大或NaN;它们不使用图中所示的正规数公式。

在推理过程中,有四个重要影响:

  • 四舍五入:两个可表示数之间的值会被替换为其中一个。
  • 下溢:非常小的值变为零或丢失大部分有效位。
  • 上溢:值太大而无法用该格式表示,变为无穷大。
  • 累积误差:许多四舍五入后的乘积相加,导致小误差累积。

PyTorch通过torch.finfo()暴露这些限制:

打印常见PyTorch浮点类型的数值限制。

import torch

for dtype in (torch.float32, torch.float16, torch.bfloat16):

info = torch.finfo(dtype)

print(f"{dtype} smallest_normal={info.tiny} largest={info.max} resolution={info.eps}")

1

2

3

4

5

6

7

8

9

10

import

torch

for

dtype

(

.

float32

,

float16

,

bfloat16

)

:

info

=

finfo

(dtype

)

print

(

f

"{dtype} smallest_normal={info.tiny} largest={info.max} resolution={info.eps}"

)

FP16(半精度浮点数)格式的尾数位数比BF16(bfloat16)更多,因此能够更精确地区分相近的值。BF16格式的指数位数与FP32(单精度浮点数)相同,因此其动态范围远大于FP16。对于Transformer的激活值计算,BF16更宽的动态范围通常可以避免FP16可能遇到的溢出问题。最佳选择仍取决于具体模型、内核和硬件特性。

输入张量的数据类型(dtype)并不能完全描述其算术特性。矩阵乘法可能读取FP16操作数,在FP32中累积中间结果,最终输出FP16结果。使用更高精度的中间结果通常是为了避免溢出和下溢。硬件和库的设置决定了具体实现路径。在记录基准测试时,应尽可能记录操作数、累积和输出的精度信息。

常见精度格式

FP32是32位单精度浮点数格式,常作为数值计算的参考标准。其参数内存占用是16位格式的两倍。FP64适用于部分科学计算,但其存储和计算成本对大语言模型推理帮助有限。更宽精度类型的硬件支持因软件和硬件而异,目前没有通用的FP128推理实现路径。

FP16使用16位,其中包含5位指数。它能减少模型存储和内存带宽需求,现代加速器具备快速的FP16矩阵乘法能力。但其有限的动态范围可能导致激活值较大时出现溢出。

BF16同样使用16位,但将8位分配给指数,尾数位数更少。其动态范围接近FP32,但精度较低。最新数据中心GPU和部分CPU支持快速的BF16运算。PyTorch在CPU上也支持BF16运算和自动精度转换,但不支持的操作可能使用其他数据类型或运行缓慢。选择该格式前应确认实际设备和内核支持情况。

FP8格式使用8位。当每个值使用16位成本过高时,FP8能进一步减少模型内存占用。由于8位无法同时提供宽动态范围和高精度,存在多种FP8布局方案。E4M3提供更高的尾数精度,E5M2提供更宽的动态范围。推理引擎可能为权重、激活值和梯度使用不同格式,通常会将缩放信息存储在8位值之外。

FP4格式进一步减少存储需求。4位不足以作为FP16的通用替代方案,实际系统需要使用精心设计的编码方案、分块缩放、校准或训练配方。MXFP4和NVFP4定义了不同的缩放和布局规则,加速器支持情况取决于具体设备代际和软件栈。选择具体格式前应参考运行时的兼容性表格。

密集模型的参数内存估算公式为:

parameter_memory = parameter_count * bits_per_parameter / 8

一个70亿参数模型在FP32下需要约28GB内存存储权重,在FP16或BF16下需要约14GB,在8位精度下需要约7GB(未计入元数据和运行时缓冲区)。该估算未包含KV缓存、激活值、分配器开销和临时工作区。8位缩放量化还会存储缩放因子和可能的零点信息,这与简单地将张量转换为其他浮点类型不同。

在不同精度下加载模型

PyTorch模型可通过to()方法转换浮点参数和缓冲区。例如:

将小型PyTorch模型转换为不同参数精度。

import torch model = torch.nn.Linear(8, 8).to(dtype=torch.float16) print(model.weight.dtype)

model

nn

Linear

to

weight

该代码将一个小的线性层转换并打印 torch.float16。对于预训练模型,应选择目标设备支持的数据类型,并直接以该数据类型加载模型,如下所示。

可以使用 transformers 库将 Hugging Face 模型直接加载到浮点数据类型:

以选定的浮点数据类型加载语言模型并生成文本。

import torch from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "sshleifer/tiny-gpt2" device = "cuda" if torch.cuda.is_available() else "cpu" dtype = torch.float16 if device == "cuda" else torch.float32 tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained( model_name, dtype=dtype, ).to(device) model.eval() inputs = tokenizer("Efficient inference is", return_tensors="pt").to(device) with torch.no_grad(): output = model.generate(**inputs, max_new_tokens=20) print(tokenizer.decode(output[0], skip_special_tokens=True))

11

12

13

14

15

16

17

18

19

20

from

transformers

AutoModelForCausalLM

AutoTokenizer

model_name

"sshleifer/tiny-gpt2"

device

"cuda"

if

cuda

is_available

else

"cpu"

==

tokenizer

from_pretrained

eval

inputs

"Efficient inference is"

return_tensors

"pt"

with

no_grad

output

generate

*

max_new_tokens

decode

[

]

skip_special_tokens

True

直接加载到目标数据类型可以避免临时存储完整的 FP32 模型后再进行转换。这对于大型检查点尤为重要。有些检查点已经以较低精度存储张量,而其他检查点则在加载时进行转换。不要假设所有设备都支持所有数据类型。测试一个代表性的前向传递并检查分析器。不支持的操作可能会失败、回退到较慢的实现,或插入会抵消预期加速效果的类型转换。

还需要注意,FP16 的动态范围比 FP32 窄,因此在将 FP32 模型转换为 FP16 时可能会发生溢出或下溢。

混合精度与敏感操作

模型不一定要在所有位置使用同一种数据类型。矩阵乘法可以使用 FP16 或 BF16,而归一化、约简、logits 或选定的层可以保持在 FP32。这种技术称为混合精度。

混合精度可以在保持昂贵的矩阵运算使用更快格式的同时减少数值误差。约简和 softmax 需要特别注意:在指数运算前减去最大 logit,并在更宽的数据类型中累积,可以防止溢出并减少误差。内部使用的具体数据类型由内核决定,不总是与存储的权重数据类型一致。

对于可控的模型,应显式转换选定的操作,同时保持边界数据类型的一致性。这个自包含示例在 FP32 中计算归一化并返回原始数据类型:

在 FP32 中计算归一化同时返回原始数据类型。

import torch import torch.nn as nn import torch.nn.functional as F class FP32LayerNorm(nn.Module): def __init__(self, width): super().__init__() self.weight = nn.Parameter(torch.ones(width, dtype=torch.float32)) self.bias = nn.Parameter(torch.zeros(width, dtype=torch.float32)) def forward(self, x): y = F.layer_norm(x.float(), (x.size(-1),), self.weight, self.bias) return y.to(x.dtype) norm = FP32LayerNorm(8) x = torch.randn(2, 8, dtype=torch.float16) print(norm(x).dtype)

as

functional

F

class

FP32LayerNorm

Module

def

__init__

self

width

super

Parameter

ones

bias

zeros

forward

x

y

layer_norm

float

size

-

return

norm

randn

不要随意更改预训练模型中的模块:FP16线性层可能会拒绝FP32激活,后续对整个模型调用to()方法会将选定的归一化层重新转换为FP16。额外的类型转换也会消耗时间。你应该使用模型支持的混合精度路径,并在代表性输入上验证输出。

测量结果

精度变化应从三个维度进行评估:

  • 内存:参数存储、峰值分配内存和KV缓存容量。
  • 性能:预填充延迟、解码延迟以及在实际批量大小和序列长度下的吞吐量。
  • 质量:困惑度、任务指标以及在代表性提示上的生成对比。

你可以参考之前文章中的基准测试规则和代码示例:预热模型、同步异步设备、将预填充与解码分离,并报告硬件和软件配置。调试时除了解码文本外,还需比较输出logits。即使许多logits发生变化,贪婪输出仍可能保持一致,或在某个接近的token决策后出现分歧。

精度格式仅按转换张量的比例减少内存。如果由于KV缓存较大,权重占总运行时内存的一半,减少权重存储无法将总内存减半。同样,当权重移动是瓶颈时,较低精度的权重对解码帮助最大。大批次预填充可能已经计算受限。

进一步阅读

以下是一些可能对你有用的资源:

  • PyTorch文档。浮点类型。该页面列出了PyTorch暴露的浮点dtypes。
  • PyTorch文档。混合精度数值精度。这解释了降低精度的累加和矩阵乘法中的数值行为。
  • PyTorch博客。Intel Xeon处理器上的BF16。该文档记录了CPU上的BF16操作和autocast支持。
  • Paulius Micikevicius等人(2022)。深度学习的FP8格式。该论文描述了E4M3和E5M2 FP8格式及其在深度学习中的应用。
  • Open Compute Project。OCP微缩格式。该规范描述了块缩放低精度格式,包括与非常小元素类型一起使用的微缩格式。

总结

在本文中,你学习了浮点格式如何在动态范围、精度、内存和硬件效率之间进行权衡。FP16和BF16都使用16位,但由于它们的指数和尾数字段不同,行为也不同。你还了解到计算可能使用与存储不同的累加dtype,并且某些操作可能需要更高精度。

关于此主题的更多内容

  • BERT模型及其变体
  • 使用混合精度在有限内存中训练模型
  • 如何计算精度、召回率、F1及其他指标
  • ROC曲线和精度-召回率曲线
  • 如何计算精度、召回率和F度量
  • 如何使用ROC曲线和精度-召回率曲线

/.entry /think