Apple Machine Learning Research

Pixels to Tokens: Token Space Efficient Active Learning for Low-Budget Semantic Segmentation

8.5内容质量

TL;DR · AI 摘要

Apple提出TEAL框架,在低预算语义分割中通过像素级主动学习提升性能,单像素标注即可达到97%监督效果。

核心要点

  • TEAL使用冻结ViT主干,避免插值带来的token伪影
  • 两层MaxHerding策略使单像素标注提升24.36mIoU
  • 10像素标注即可达到97%全监督模型性能

结构提纲

按章节快速跳转。

  1. 指出当前ViT主动学习在像素级标注的效率瓶颈

  2. ·TEAL框架设计

    提出冻结ViT主干并在token lattice进行多样性选择的方法

  3. 通过两层token描述符选择代表性样本

  4. 在解码器网格进行margin-based不确定性修正

  5. 在4个数据集验证单像素标注效果提升24.36mIoU

  6. 证明token空间选择与不确定性优化的协同增益

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • TEAL框架
    • 核心方法
      • 冻结ViT主干
      • token lattice多样性选择
      • 两层MaxHerding策略
    • 实验结果
      • 单像素提升24.36mIoU
      • 10像素达97%监督性能
    • 技术贡献
      • 像素级主动学习框架
      • token空间与解码器联合优化

金句 / Highlights

值得收藏与分享的关键句。

#Computer Vision#Active Learning#Vision Transformers#Semantic Segmentation
打开原文

从像素到令牌:面向低预算语义分割的令牌空间高效主动学习 - 苹果机器学习研究

研究领域

计算机视觉

,

数据科学与标注

会议

NeurIPS

内容类型

论文

发布日期

2026年10月

从像素到令牌:面向低预算语义分割的令牌空间高效主动学习

作者 Utku Cicek†, Mahip Singh†, Ziyao Shang†, Kimathi Kaai, Pedro Pablo Guerrero Vela, C Thomas, Alexander Wong, Sirisha Rambhatlaâ€

查看出版物

复制Bibtex

尽管基础模型和视觉变压器(ViTs)重新定义了视觉表示,但当前这些主干的主动学习(AL)策略大多在补丁或区域级别运行,由于需要大量像素标注,标注需求仍然很高。将基于ViT的AL扩展到像素级别、低预算场景具有独特挑战性:每张图像只需查询一个像素时,方法必须同时识别最具信息量的位置,并从极其稀疏的信号中训练可靠的解码器头。我们引入了TEAL(令牌空间高效主动学习),这是首个围绕ViT表示构建的像素级AL框架。TEAL使用冻结的ViT主干,并在其原生令牌晶格上直接进行基于多样性的选择,避免了将令牌嵌入插值到密集像素分辨率时引入的伪影。我们的框架通过多层令牌描述符应用两层MaxHerding策略来选择代表性候选,随后在更精细的解码器网格上进行基于边距的不确定性优化。在CamVid、Cityscapes、ADE20K和Pascal Context数据集上,TEAL在极端标签稀缺条件下始终优于之前的基线方法,在每张图像仅有一个标注像素(px)的情况下,相比最强基线最高提升了+24.36mIoU,并且仅用10个像素即可达到完全监督性能的97%。为严格验证收益来源,我们进一步证明当所有基线都配备相同DINOv3主干时,改进依然存在,这表明将令牌空间选择与解码器网格上的不确定性优化相结合,使ViT令牌几何成为极端低预算主动分割的有效基础。

  • †沃特卢大学

相关阅读和更新

VideoFlexTok:灵活长度的粗到细视频令牌化

2026年7月2日 研究领域 计算机视觉 会议 ICML

视觉分词器将高维原始像素映射到压缩表示以供下游建模。除了压缩之外,分词器还决定了保留哪些信息以及如何组织这些信息。视频分词的既定标准方法是将视频表示为时空3D令牌网格,每个令牌捕获原始信号中相应的局部信息。这需要下游模型消耗的…

阅读更多

通过私有联邦学习免费训练分词器

2022年5月23日 研究领域 隐私 , 研究领域 语音与自然语言处理 会议 ACL

联邦学习结合差分隐私(即私有联邦学习,PFL)使得可以在不损害隐私的前提下,在用户设备上分布的私有数据上训练模型。PFL对于参数数量固定、梯度向量维度固定的模型(如神经网络)效率较高。这类模型包括神经网络语言模型,但不包括分词器——这也是本文的研究主题。训练分词器……

发现机器学习领域的机遇

我们的机器学习研究每天都在取得新突破。

与我们合作