KDnuggets

How to Calibrate Your Classifier’s Probabilities in Scikit-learn

8.5内容质量

TL;DR · AI 摘要

本文详解scikit-learn中分类器概率校准方法,通过Platt scaling和isotonic regression修复模型置信度偏差,提供可靠性图和Brier分数评估方案。

核心要点

  • 使用Platt scaling可修正SVM等模型的sigmoid型概率偏差
  • Brier分数下降30%表明校准显著提升概率准确性
  • 随机森林概率分布更接近均匀分布需特殊处理

结构提纲

按章节快速跳转。

  1. 揭示模型置信度与实际准确率的偏差问题及校准必要性

  2. 解释概率校准的数学定义及ROC-AUC指标的局限性

  3. 使用Covertype数据集构建二分类问题并验证环境配置

  4. 对比Platt scaling与isotonic regression的适用场景

  5. 通过可靠性图可视化校准前后概率分布变化

  6. 根据模型类型选择校准方法并验证效果

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 分类器概率校准
    • 校准方法
      • Platt scaling
      • isotonic regression
    • 评估指标
      • Brier分数
      • 可靠性图
    • 模型特性
      • SVM sigmoid扭曲
      • 随机森林均匀分布

金句 / Highlights

值得收藏与分享的关键句。

#scikit-learn#机器学习#概率校准#模型评估
打开原文

如何在 Scikit-learn 中校准分类器的概率 - KDnuggets

publ: 2026年11月17日

  • 博客热门文章
  • 主题 AI 职业建议 计算机视觉 数据工程 数据科学 语言模型 机器学习 MLOps NLP 编程 Python SQL
  • 数据集
  • 活动
  • 资源 快速参考指南 推荐 技术简报
  • 广告

订阅电子报

#header end

/ad_wrapper

如何在 Scikit-learn 中校准分类器的概率

在本教程中,你将使用真实数据集训练两个 scikit-learn 分类器,通过可靠性图和 Brier 分数揭示它们的校准偏差,并使用 Platt 标度和等渗回归进行修正

作者:

Shittu Olumide,技术内容专家,2026年11月17日,机器学习

<div class="addthis_native_toolbox"></div>

你的模型输出 0.9,你将其视为 90% 的概率,设置阈值,并据此做出决策。随后你检查模型预测接近 0.9 的样本,发现其中正确率明显低于预期。系统没有故障,模型对案例的排序良好,但它仍然无法准确判断自身置信度。

这种分数与实际概率之间的差距正是校准要解决的问题。在本教程中,你将使用真实数据集训练两个 scikit-learn 分类器,通过可靠性图和 Brier 分数揭示它们的校准偏差,并使用 Platt 标度和等渗回归进行修正。最终你将掌握如何在 scikit-learn 中校准分类器概率,以及如何为数据选择合适的方法。

校准的含义

一个校准良好的分类器允许你将 predict_proba 的输出视为置信度。按照 scikit-learn 用户指南 的说法,在获得接近 0.8 分数的样本中,约有 80% 应该属于正类。

准确率和 ROC 曲线下面积(ROC-AUC)无法验证这一点。这两个指标关注的是标签或排序,而非 0.8 是否代表 80%。模型可能在两者上表现良好,但仍可能过度自信或严重低估置信度。

某些模型更容易出现这种问题。指南指出,逻辑回归本身通常校准良好。高斯朴素贝叶斯会将概率推向 0 和 1,随机森林倾向于避免极端值,而最大间隔方法(如支持向量机 SVM)会产生 S 型失真。下面你将亲自观察到其中两种现象。

环境搭建与数据

安装库并检查版本:

code
pip install -U scikit-learn matplotlib numpy
python -c "import sklearn; print(sklearn.__version__)"

你需要 scikit-learn 1.6 或更高版本。这是引入 FrozenEstimator 的版本,该功能替代了旧版的 cv="prefit" 参数,根据 1.6 版本更新日志。许多旧教程仍使用 cv="prefit",如果借鉴这些代码请特别注意。

数据是 Covertype 数据集:包含 581,012 个森林地块,每个地块有 54 个特征,用于预测主导树种。这是一个多分类数据集,你将将其转换为二分类问题:云杉/冷杉(类别 1)与其它树种。

创建 calibrate.py 文件并从以下内容开始:

code
import numpy as np
import matplotlib.pyplot as plt
from sklearn.calibration import CalibratedClassifierCV, CalibrationDisplay
from sklearn.datasets import fetch_covtype
from sklearn.ensemble import RandomForestClassifier
from sklearn.frozen import FrozenEstimator
from sklearn.metrics import brier_score_loss, log_loss, roc_auc_score
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB

RANDOM_STATE = 42

# ---- 第一步:数据准备 ------------------
X, y = fetch_covtype(return_X_y=True)
y = (y == 1).astype(int)  # 1 表示云杉/冷杉,其他值设为 0

# 为加快计算速度,取 10 万行样本
rng = np.random.default_rng(RANDOM_STATE)
subset = rng.choice(len(X), size=100_000, replace=False)
X, y = X[subset], y[subset]
print("行数:", X.shape[0], "| 正样本占比:", round(y.mean(), 3))

# 按 50% 训练集、20% 校准集、30% 测试集划分
X_train, X_rest, y_train, y_rest = train_test_split(
    X, y, train_size=0.5, stratify=y, random_state=RANDOM_STATE
)
X_cal, X_test, y_cal, y_test = train_test_split(
    X_rest, y_rest, train_size=0.4, stratify=y_rest, random_state=RANDOM_STATE
)
print("训练集 / 校准集 / 测试集:", len(X_train), len(X_cal), len(X_test))

fetch_covtype 在首次调用时会从网络下载数据,并缓存到你主目录下的 scikit_learn_data 文件夹。目标变量原始值为 1-7,通过 y == 1 转换为 0/1 二分类标签。取 10 万行样本可以在不影响演示效果的前提下保持随机森林的计算速度。

最关键的是三重数据划分。用户指南指出校准器应使用与训练分类器无关的独立数据进行拟合,因为模型在自身训练数据上会产生过度自信的概率估计。通过分离训练集、校准集和测试集,确保测试集在最终验证前完全未被触碰。stratify 参数保证了各类别在所有划分中的比例一致。

展示问题

现在训练两个已知会以相反方式表现异常的模型。将以下代码添加到同一文件中:

code
# ---- 第二步:训练两个模型 ------
models = {
    "朴素贝叶斯": GaussianNB(),
    "随机森林": RandomForestClassifier(
        n_estimators=200, n_jobs=-1, random_state=RANDOM_STATE
    ),
}
for model in models.values():
    model.fit(X_train, y_train)

# 在未触碰的测试集上预测正类概率
raw = {name: m.predict_proba(X_test)[:, 1] for name, m in models.items()}

两个模型都仅使用训练集进行拟合。predict_proba(X_test)[:, 1] 提取正类概率,这正是二分类问题所需的所有信息。

接下来是三个可复用的小工具函数,后续所有对比分析都会用到:

code
# ---- helpers ------------------------------------------------------------
def ninety_test(name, p, y_true, low=0.85, high=0.95):
    """How often are samples scored in [low, high) actually positive?"""
    mask = (p >= low) & (p < high)
    if mask.sum() == 0:
        print(f"{name}: no test samples scored in [{low}, {high})")
        return
    print(
        f"{name}: {mask.sum()} samples scored in [{low}, {high}) "
        f"-> {y_true[mask].mean():.1%} are actually positive"
    )

def print_scores(y_true, probas):
    print(f"{'Model':<32}{'Brier':>8}{'Log loss':>10}{'ROC-AUC':>9}")
    for name, p in probas.items():
        print(
            f"{name:<32}{brier_score_loss(y_true, p):>8.4f}"
            f"{log_loss(y_true, p):>10.4f}{roc_auc_score(y_true, p):>9.4f}"
        )

def reliability_plot(y_true, probas, title):
    fig, (ax_curve, ax_hist) = plt.subplots(
        2, 1, figsize=(7, 9), gridspec_kw={"height_ratios": [3, 1]}, sharex=True
    )
    for i, (name, p) in enumerate(probas.items()):
        CalibrationDisplay.from_predictions(
            y_true, p, n_bins=10, name=name, ax=ax_curve, ref_line=(i == 0)
        )
        ax_hist.hist(p, bins=10, range=(0, 1), histtype="step", label=name)
    ax_curve.set_title(title)
    ax_curve.set_xlabel("")
    ax_hist.set_xlabel("Mean predicted probability")
    ax_hist.set_ylabel("Count")
    ax_hist.legend(loc="upper center")
    plt.tight_layout()
    plt.show()

ninety_test 是一个直观的代码实现,用于验证 "0.9 是否意味着 90% 的置信度"。它会检查所有预测概率落在 0.85 到 0.95 区间内的测试样本,并统计其中实际为正类的样本比例。

print_scores 会输出三个关键指标。Brier 分数衡量预测概率与实际结果的平方误差,数值越低越好。Log loss 对过于自信的错误预测惩罚更重。ROC-AUC 评估排序能力,能验证校准过程是否保持了模型的排序性能。

reliability_plot 绘制校准曲线(也称可靠性图)。将样本按预测概率分为 10 个区间,横轴表示每个区间的平均预测概率,纵轴表示该区间内实际正类的比例。理想模型的曲线应完全落在对角线上。下方的直方图显示每个区间内的预测数量,帮助判断曲线的可信度。ref_line=(i == 0) 参数确保只绘制一次对角参考线。

现在运行诊断:

code
# ---- Step 3: show the problem -------------------------------------------
for name, p in raw.items():
    ninety_test(name, p, y_test)
print()
print_scores(y_test, raw)
reliability_plot(y_test, raw, "Reliability diagram: uncalibrated models")

运行 python calibrate.py 。你的具体数值会因样本和 scikit-learn 版本不同而有所差异,但整体趋势应该一致。

解读可靠性图时注意:曲线位于对角线下方表示模型过度自信(预测 0.9 时实际结果更低),曲线上方表示模型欠自信。朴素贝叶斯模型在右侧应位于对角线下方,直方图在 0 和 1 处密集。随机森林模型应呈现 S 形曲线,在左侧低于对角线、右侧高于对角线,极端值预测较少。这与文档中解释的 "多棵树的平均预测会远离 0 和 1" 的原理一致。

ninety_test 函数将这一分析具体化。对比每个模型在 0.85-0.95 区间内实际正类比例与预测的 90% 置信度,可以直观发现偏差。

一个关于Brier分数的注意事项。用户指南指出,该指标将校准效果与判别能力混合在一起,因此更低的Brier分数并不一定意味着更好的校准效果。这就是为什么图示会与数值并列显示,而不是被数值替代的原因。

解法1:Platt缩放

Platt缩放在模型输出上拟合一个小型的逻辑曲线。用户指南给出了公式:p = 1 / (1 + exp(A·f + B)),其中f是模型的原始得分,A和B是通过最大似然法学习得到的两个参数。这种方法源自Platt 1999年关于SVM输出的论文,用户指南中也引用了该论文。

由于仅学习两个参数,因此很难过拟合。指南指出,该方法假设校准曲线可以通过S型函数进行修正,因此适用于具有这种S形失真的情况。它也是单调的,因此会保留预测的排序关系。当使用小规模校准集时,这是更安全的选择,因为API参考文档中警告说等渗方法在此情况下不推荐使用。

在scikit-learn中,这是通过CalibratedClassifierCV的method="sigmoid"实现的:

code
calibrator = CalibratedClassifierCV(FrozenEstimator(models["Naive Bayes"]), method="sigmoid")
calibrator.fit(X_cal, y_cal)
p_platt = calibrator.predict_proba(X_test)[:, 1]

FrozenEstimator包装了一个已经训练好的模型,这样调用fit方法时不会产生任何效果。如果没有这个包装器,CalibratedClassifierCV会重新训练你的模型。如API参考文档所解释的,传递给fit方法的所有数据都将用于校准,而是否将校准数据与训练数据分离取决于你自己。你通过校准分割实现了这一点。

解法2:等渗回归

等渗回归不假设任何特定形状。它拟合一个随着得分上升而永不下降的阶梯函数。这使其比Platt缩放更灵活:它可以修正任何单调失真,而不仅仅是S型曲线。

这种灵活性也伴随着代价。指南警告说,等渗回归更容易过拟合,特别是在小数据集上,而且它通常只有在数据量足够大(大约超过1000个样本)时,才会匹配或优于S型函数。API参考文档的表述更为直接,指出当校准集远低于这个数量级时,不推荐使用等渗校准。你的校准集有20,000个样本,因此是安全的。

还有一个副作用需要考虑。等渗回归会在预测结果中产生重复值,因此校准后ROC-AUC可能会略有变化。如果你必须严格保持预测排序不变,请使用S型函数。

调用方式几乎相同,只需将方法名称修改为"isotonic"。以下是同时使用两种方法对两个模型进行校准的完整流程:

code
# ---- 第4步 + 第5步:Platt缩放和等渗回归 -----------------------------
calibrated = {}
for name, model in models.items():
    for method in ("sigmoid", "isotonic"):
        calibrator = CalibratedClassifierCV(FrozenEstimator(model), method=method)
        calibrator.fit(X_cal, y_cal)
        calibrated[(name, method)] = calibrator.predict_proba(X_test)[:, 1]

每个校准器都仅从20,000个校准样本中学习映射关系。字典保存了所有四种模型和方法组合的测试集概率,随时可以进行比较。

对比与选择

在脚本末尾添加比较代码:

code
# ---- 第6步:比较 ----------------------------------------------------
all_probas = {}
for name in models:
    group = {
        f"{name} (原始)": raw[name],
        f"{name} + Platt": calibrated[(name, "sigmoid")],
        f"{name} + 等渗": calibrated[(name, "isotonic")],
    }
    all_probas.update(group)
    reliability_plot(y_test, group, f"{name}: 校准前后对比")

print()
print_scores(y_test, all_probas)
print()
for label, p in all_probas.items():
    ninety_test(label, p, y_test)

每个模型都会生成一张校准前后的对比图,接着是评分表,然后是对每个变体进行的九十测试。

需要关注的要点:

  • 曲线:经过校准的曲线应比原始曲线更贴近对角线。
  • Brier评分和对数损失:校准后这两个指标都应该下降,其中改进最显著的是原本偏差最大的模型。
  • ROC-AUC:Platt校准后的结果应与原始结果完全一致。等渗校准的结果可能在小数点后几位存在差异,这是由于上述提到的平局情况导致的。
  • 九十测试:0.85到0.95区间内"实际为正"的比例应向该区间所暗示的范围靠拢。如果某个变体在该区间没有样本,辅助工具会提示这一点,这可能发生在某些方法压缩评分时。

选择方法的建议:

根据你的具体情况

优先选择

校准样本少于约1000个

Platt缩放(

code
sigmoid

)

校准样本有数千个或更多

等渗校准,并与sigmoid进行对比

需要保持ROC-AUC和排名完全一致

在非常不平衡的数据上,一个校准效果很差且偏向多数类的模型

可能更优,根据

API参考

,因为它会拟合一个额外的截距项来移动决策边界

多分类问题

code
温度

,该方法在

scikit-learn 1.8

中新增,使用一个参数对所有类别进行校准

如果没有额外数据用于校准集,让scikit-learn帮你交叉验证:

code
cv_calibrated = CalibratedClassifierCV(GaussianNB(), method="sigmoid", cv=5)
cv_calibrated.fit(X_train, y_train)
p_cv = cv_calibrated.predict_proba(X_test)[:, 1]

这里你传递的是未拟合的模型。对于每个5折交叉验证,CalibratedClassifierCV会在部分数据上训练一个副本,并在其余数据上拟合校准器。预测时它会平均五个结果,因此校准器永远不会看到其自身分类器训练过的数据。

三个习惯能帮你避开常见陷阱:

  • 永远不要在训练数据上拟合校准器
  • 保持测试集在最终检查前不被触碰,确保校准前后的评分是诚实的
  • 模型变更时重新校准

总结

你从一个0.9不代表90%的模型开始,将真实数据分成三种方式,训练了朴素贝叶斯模型和随机森林,使用可靠性图、Brier评分和简单的九十测试来衡量问题。然后通过Platt缩放和等渗回归(使用CalibratedClassifierCV和FrozenEstimator)解决了问题,验证了结果,并根据拥有的校准数据量选择了合适的方法。

现在尝试在你自己的模型上应用这些步骤。将models中的两个分类器替换为你实际部署的模型,保持三分法划分,运行这些图表。如果你想更深入,scikit-learn的校准比较示例会包含更多模型,Venn-ABERS预测器则会提供概率区间而不是单一值。

code

Shittu Olumide 是一名软件工程师和技术作家,热衷于利用前沿技术创作引人入胜的故事,注重细节并擅长将复杂概念简化。你也可以在 Twitter 上关注 Shittu。

### 更多相关内容

- 将 LLM 翻译集成到你的 Scikit-Learn 管道中…
- AI 能在模型准确率达到 99% 之前发现数据泄露吗?
- 如何为你的 AI 代理添加记忆功能
- 在 Scikit-Learn 管道中使用 LLM 摘要(通过 Scikit-LLM)
- 本地运行 LLM 并不意味着数据安全:Cohere 的…
- 通过 OpenRouter 在 Python 应用中访问多个 AI 模型

<hr class="grey-line"><br> <div><h3>我们推荐的 5 门免费课程</h3><br> </div>

Mailchimp for WordPress v4.15.0 - https://wordpress.org/plugins/mailchimp-for-wp/

/ Mailchimp for WordPress 插件

你可以从这里开始编辑。

如果评论已关闭。

<= 上一篇

下一篇 =>

#content end

<script type="text/javascript">kda_sid_write(kda_sid_n);</script>

### 最新文章

- 锯齿状智能:为什么 AI 一分钟内 brilliance,下一分钟却茫然无措 2026 年 AI 和数据科学薪资:从业者实际收入如何 在 Scikit-learn 中如何校准分类器的概率 2026 年 7 个最佳 AI 编程计划(10 美元或更少) 当 AI 代理开始自主行动时,有 5 件事会出错 如何为 Claude 提供带有上下文的最新代码文档7

## 热门文章

- 代理系统设计:自学路线图
- 9 个关键 LLM 推理指标 5 分钟详解
- 7 本免费书籍教你构建 AI 系统
- 5 个有用的 Python 自动化脚本(适合初学者)
- 如何为 Claude 提供带有上下文的最新代码文档7
- 2026 年成为 AI 架构师的路线图
- 使用 graphrag-toolkit 构建增强图的 GenAI 应用程序
- Python 项目中 Makefile 的用例(以及如何入门)
- 将 LLM 翻译集成到你的 Scikit-Learn 管道中(通过 Scikit-LLM)
- 使用 Python 和 Olostep 在 3 分钟内抓取 7000 个页面

#content_wrapper end

© 2026

Guiding Tech Media

|

关于

联系我们

广告合作

隐私政策

服务条款

2026 年 11 月 17 日由 Olumide Shittu 发布

blank

不,谢谢!

/.main_wrapper

<script defer type="text/javascript" src="https://s7.addthis.com/js/300/addthis_widget.js#pubid=gpsaddthis"></script>

noptimize

/noptimize