Pixels to Tokens: Token Space Efficient Active Learning for Low-Budget Semantic Segmentation
TL;DR · AI 摘要
Apple提出TEAL框架,在低预算语义分割中通过像素级主动学习提升性能,单像素标注即可达到97%监督效果。
核心要点
- TEAL使用冻结ViT主干,避免插值带来的token伪影
- 两层MaxHerding策略使单像素标注提升24.36mIoU
- 10像素标注即可达到97%全监督模型性能
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- TEAL框架
- 核心方法
- 冻结ViT主干
- token lattice多样性选择
- 两层MaxHerding策略
- 实验结果
- 单像素提升24.36mIoU
- 10像素达97%监督性能
- 技术贡献
- 像素级主动学习框架
- token空间与解码器联合优化
金句 / Highlights
值得收藏与分享的关键句。
TEAL使用冻结的ViT主干,避免插值带来的token伪影
单像素标注即可实现24.36mIoU提升,10像素达97%监督效果
DINOv3基线验证表明方法增益来自token几何特性
从像素到令牌:面向低预算语义分割的令牌空间高效主动学习 - 苹果机器学习研究
研究领域
计算机视觉
,
数据科学与标注
会议
NeurIPS
内容类型
论文
发布日期
2026年10月
从像素到令牌:面向低预算语义分割的令牌空间高效主动学习
作者 Utku Cicekâ , Mahip Singhâ , Ziyao Shangâ , Kimathi Kaai, Pedro Pablo Guerrero Vela, C Thomas, Alexander Wong, Sirisha Rambhatlaâ
查看出版物
复制Bibtex
尽管基础模型和视觉变压器(ViTs)重新定义了视觉表示,但当前这些主干的主动学习(AL)策略大多在补丁或区域级别运行,由于需要大量像素标注,标注需求仍然很高。将基于ViT的AL扩展到像素级别、低预算场景具有独特挑战性:每张图像只需查询一个像素时,方法必须同时识别最具信息量的位置,并从极其稀疏的信号中训练可靠的解码器头。我们引入了TEAL(令牌空间高效主动学习),这是首个围绕ViT表示构建的像素级AL框架。TEAL使用冻结的ViT主干,并在其原生令牌晶格上直接进行基于多样性的选择,避免了将令牌嵌入插值到密集像素分辨率时引入的伪影。我们的框架通过多层令牌描述符应用两层MaxHerding策略来选择代表性候选,随后在更精细的解码器网格上进行基于边距的不确定性优化。在CamVid、Cityscapes、ADE20K和Pascal Context数据集上,TEAL在极端标签稀缺条件下始终优于之前的基线方法,在每张图像仅有一个标注像素(px)的情况下,相比最强基线最高提升了+24.36mIoU,并且仅用10个像素即可达到完全监督性能的97%。为严格验证收益来源,我们进一步证明当所有基线都配备相同DINOv3主干时,改进依然存在,这表明将令牌空间选择与解码器网格上的不确定性优化相结合,使ViT令牌几何成为极端低预算主动分割的有效基础。
- â 沃特卢大学
相关阅读和更新
VideoFlexTok:灵活长度的粗到细视频令牌化
2026年7月2日 研究领域 计算机视觉 会议 ICML
视觉分词器将高维原始像素映射到压缩表示以供下游建模。除了压缩之外,分词器还决定了保留哪些信息以及如何组织这些信息。视频分词的既定标准方法是将视频表示为时空3D令牌网格,每个令牌捕获原始信号中相应的局部信息。这需要下游模型消耗的â¦
阅读更多
通过私有联邦学习免费训练分词器
2022年5月23日 研究领域 隐私 , 研究领域 语音与自然语言处理 会议 ACL
联邦学习结合差分隐私(即私有联邦学习,PFL)使得可以在不损害隐私的前提下,在用户设备上分布的私有数据上训练模型。PFL对于参数数量固定、梯度向量维度固定的模型(如神经网络)效率较高。这类模型包括神经网络语言模型,但不包括分词器——这也是本文的研究主题。训练分词器……
发现机器学习领域的机遇
我们的机器学习研究每天都在取得新突破。
与我们合作