Hugging Face Blog

Palette: teaching a small model to build decks in your design language

8.5内容质量

TL;DR · AI 摘要

Palette模型通过合成数据和分角色训练,使小模型能生成符合特定设计语言的幻灯片,且在PresentBench上表现优异。

核心要点

  • Palette使用合成数据训练,基于IBM设计语言生成幻灯片
  • 通过LoRA适配器分角色训练设计师和编码器
  • 在PresentBench上两个领域排名第一

结构提纲

按章节快速跳转。

  1. 介绍当前大模型生成幻灯片的局限性及Palette的解决方案

  2. 通过合成数据和分角色训练解决小模型布局难题

  3. Palette在PresentBench上两个领域排名第一

  4. 小模型布局计算错误导致元素重叠问题

  5. 使用LoRA适配器实现设计师与编码器角色分离

  6. 企业可自建模型保持数据所有权

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Palette模型
    • 合成数据训练
      • IBM设计语言数据集
    • 分角色训练
      • 设计师角色(JSON生成)
      • 编码器角色(pptxgenjs)
    • 评估表现
      • PresentBench排名

金句 / Highlights

值得收藏与分享的关键句。

#AI模型#设计语言#幻灯片生成#LoRA适配器#PresentBench
打开原文

Palette:训练小型模型以使用您的设计语言构建演示文稿

返回文章列表

[0

[-1

企业

]

文章

2026年11月3日发布

点赞

4

[

Praveen Venkateswaran

praveenv

关注

ibm-research

Anupama Murthi

anupamamurthi

Hamid Adebayo

harmedox

向前沿模型请求一个幻灯片演示文稿,你会得到一个不错的版本。请求十个时,它们开始变得雷同:相同的审美默认值、相同的公司风格,隐约带有“AI生成演示文稿”的特征。这在你希望演示文稿符合自己的模板时就变得有问题了。前沿模型具有自己的公司风格,无论怎样提示,它们都会逐渐回归到这种风格。有时内容涉及机密,根本不能离开你的系统。

这两点都指向一个你拥有控制权的模型:开放权重、运行在你自己的基础设施上、使用你自己的设计语言进行训练。问题是,那些真正可以自托管的小型开放模型在这方面表现很差。它们生成的演示文稿会出现各种问题:标题消失在背景中、文字超出幻灯片范围、形状相互堆叠。

Palette验证了一个假设:通过在你的设计语言中使用合成数据训练,并通过一个验证框架进行检查,一个小型开放权重模型可以在你保留结果所有权的同时,与前沿系统竞争。我们对一个20B参数模型进行了微调,使其能够像人类一样构建演示文稿:设计师规划演示文稿结构,程序员逐张绘制幻灯片。其训练数据遵循IBM设计语言,在PresentBench基准测试中,它在我们测量的三个领域中有两个领域排名第一。本文将介绍我们如何合成数据、训练模型以及构建验证框架。

为何小型模型难以构建演示文稿

幻灯片演示文稿看起来简单,但要生成一个,需要模型完成小型模型不擅长的三件事。

它在未看到幻灯片的情况下进行布局。模型不直接绘制幻灯片,而是编写代码将每个元素放置在特定的x、y坐标、宽度和字体大小上。例如,判断75个字符的标题在56pt字号下是否适合显示在两行上,这种计算是模型在脑海中完成的,只有在代码实际渲染后才会发现错误。小型模型经常在此类问题上出错,这正是导致形状重叠和文字超出幻灯片范围的原因。

它需要同时做出两种类型的决策。决定每张幻灯片的内容以及如何呈现(使用图表还是表格?哪些内容需要删减?)属于编辑判断。而精确放置则属于几何计算。单次处理需要在10到20张幻灯片之间同时完成这两项任务,同时保持配色方案、字体和布局的一致性。

没有数据展示演示文稿的制作过程。虽然存在大量成品演示文稿,但缺乏设计选择背后的逻辑以及生成它们的代码。

像人类一样构建:设计师与程序员的协作

没有人能一次性完成演示文稿的制作。你首先确定故事框架(幻灯片数量、每张幻灯片的内容、哪些使用图表、哪些使用表格),然后才开始制作每张幻灯片。Palette采用相同的工作方式,通过单个LoRA适配器将工作拆分为两个角色:

  • 设计师阅读计划并编写结构化JSON简报:指定配色方案、字体系统,以及每张幻灯片的布局、精确内容和简短的设计理由。
  • 程序员从简报中提取单张幻灯片的规格,并编写生成该幻灯片的pptxgenjs JavaScript代码,代码前需附上其推理过程。

每个角色现在只负责一种类型的决策:设计师负责编辑判断,而程序员负责几何布局。两者之间的简要说明是可读且可编辑的,因此一个人或代理可以更改某一页的布局而无需重新生成整个演示文稿。由于在编写任何代码之前每一页的上下文都是固定的,程序员可以并行处理每一页,这使编码阶段的速度提高了6-7倍。

我们使用LoRA而不是完整的微调来训练适配器:它在不干扰基础模型已有知识的前提下,教会模型一种格式和技能,这让每次实验的成本大幅降低。一个经验教训是:程序员的示例长度大约是设计师示例的5倍,因此在初期混合训练时,如果不对设计师示例进行5倍过采样,会导致设计师模型训练不足。

合成演示文稿及其推理过程

目前没有公开的包含计划、设计决策和幻灯片代码的语料库,因此我们使用一个大型开源教师模型生成了一个。每个演示文稿都从一个设定其类型、长度、布局和用户指令的配方开始,这样我们可以控制数据的覆盖范围。计划内容从整洁的提纲到原始内容转储不等,因此模型学会了如何剪裁和浓缩信息。我们生成了约1000个演示文稿,涵盖约10,000张幻灯片。

每个示例都附带了其背后的推理过程,以反事实形式书写:该推理过程会评估一个替代方案并说明为何被拒绝,从而使模型学习到选择背后的规则,而不仅仅是选择本身。设计师的推理涉及内容与形式:

"四个季度的收入数据,呈现出一个明显的上升趋势。我考虑过使用表格,但这张幻灯片的重点是趋势而非具体数字,因此使用柱状图可以一目了然地展示趋势。"

程序员的推理涉及几何布局:

"标题有62个字符。如果使用44pt字号,标题会换行三次并延伸到下方的图表区域,因此我将其设置为36pt字号,这样可以在两行内显示并为下方图表留出空间。"

教师模型本身并不能保证数据质量,真正起作用的是围绕它的训练循环。每个合成的演示文稿都会经过渲染,并通过与推理时相同的检查器验证重叠和溢出问题。有错误的幻灯片会被修复,其推理过程也会以同样的反事实形式重写,说明原始布局的错误所在以及修复方案为何有效。检查器发现的每个错误都会转化为更优质的训练示例。

最难解决的问题是忠实性。最严重的失败是幻灯片中出现了输入中没有的事实,我们发现单纯依靠提示规则无法防止这种情况。如果简要说明要求生成一个6x5的表格但只提供了三个要点,程序员就必须自行补充其余内容。

真正解决问题的是参考演示文稿而非规则:修复参考演示文稿能可靠地改变教师模型的输出,而添加新规则的效果则微乎其微。教师模型在其提示中看到少量参考演示文稿后,会更倾向于直接复制这些示例,而不是遵循指令。

用普通英语引导演示文稿

用户通常希望对具体设计选择进行更精细的控制:使用图表而非表格、指定某种颜色、使用更暗的封面等。Palette允许他们通过指令(用[[ ]]括起的直接写在计划中的简短说明)来实现这些需求:

code
## 发布计划
- 3月:与两个团队试点
- 5月:完成安全审查
- 7月:向整个工程团队推广
- 9月:公司范围发布
- 11月:首次采用审查
[[将此内容转换为时间线]]

设计师将每个指令嵌入到简报中,编码人员在绘制幻灯片时会遵循这些指令。如果没有该指令,模型会合理地将这些里程碑显示为表格;有了该指令,模型则会绘制时间线。

模型遵循指令是因为它被训练成这样。数据配方包含来自12个类别的指令,其中一些示例如下,每个指令以多种不同方式表述,使模型学习意图而非固定短语。

类别

示例指令

布局

code
[[make this a timeline]]

语气

code
[[be candid, no spin]]

受众

code
[[this is for the board]]

顺序

code
[[lead with the ask]]

省略内容

code
[[no pricing]]

强调

code
[[highlight the headline number]]

图1. 同一计划在没有(左)和有(右)[[make this a timeline]]指令时的示意图。

构建检查与修复工具

即使训练良好的模型有时也会生成损坏的幻灯片:标题颜色与背景相同,或两个框堆叠在一起。因此Palette不会直接返回模型的输出;每份演示文稿都会先经过一个工具链处理。

图2. 设计师起草简报,编码人员并行编写每张幻灯片的代码,工具链在演示文稿返回前检查并修复每张幻灯片。

首先,简单规则可以修复已知错误,例如原本会导致所有幻灯片变黑的格式错误颜色代码。然后每张幻灯片都会被渲染和测量:几何检查器会标记重叠文本、被裁剪或超出幻灯片范围的内容。被标记的幻灯片会发送给独立的编辑模型,该模型会重写该幻灯片的代码。

关键规则是:只有检查器确认幻灯片质量提升时,重写内容才会被保留;否则保留原始版本。这使得该工具链可以安全地应用于每份演示文稿。它可以修复幻灯片,但不会让幻灯片变得更差。

图3. 修复过程示意图。原始生成(左)时,每张卡片的标题堆叠在描述之上;工具链检测到重叠后,将卡片重新排版为2×2网格(右)。

为了评估效果,我们对每个PresentBench演示文稿进行了一次生成,并分别在有无工具链的情况下进行评分。在131个演示文稿中,工具链平均提升了3.5分。

评估

我们在PresentBench上进行评估,该基准根据五个标准对生成的演示文稿进行评分:基础要素、视觉设计、完整性、正确性和保真度。PresentBench提供源文档而非计划,因此这些测试中,独立的前沿模型根据文档起草了每个计划,Palette根据该计划构建演示文稿。我们报告了三个领域;基准数据来自PresentBench论文。

图4. 按领域划分的PresentBench评分。Palette(蓝色)与NotebookLM、Manus 1.6和其他五个系统(灰色)的对比。Palette在经济学和教育领域排名第一,在Talk领域排名第三,在三个领域平均排名第二。

Palette在结构化内容和数值准确性决定评分的领域表现最佳,在经济学和教育领域排名第一。在Talk领域,由于演示文稿以叙事和演讲为主,两个封闭系统得分更高,Palette排名第三。在三个领域整体排名中,Palette位列第二,比NotebookLM(59.7 vs 60.8)低1.1分,但领先于其他所有系统,作为单个20B参数的开源模型。

PresentBench衡量演示文稿是否优质,但不衡量是否遵循特定设计语言。我们尚未发现有基准能衡量这一点,这也是我们希望填补的空白。

下一步计划

当前系统已经能够计算出廉价且可验证的信号:幻灯片能否正常渲染、是否存在重叠或溢出、每个事实是否都能追溯到原始简报。目前我们利用这些信号在生成后修复输出。下一步,我们希望将相同的检查机制作为强化学习的奖励信号,使模型从根本上避免这些错误。由于编码器是逐张幻灯片处理的,每张幻灯片都是一个简短且可独立验证的执行过程,天然适配GRPO风格的训练方式。

我们还想通过从源文档(例如使用Docling)提取图表并将其与系统集成,来缩小图表密集型演示文稿的差距。同时我们正在探索一种更轻量的方式实现自定义模板:无需重新训练,只需通过重新设计一两个现有.pptx文件的样式即可实现输出样式迁移。

我们学到的经验

构建Palette过程中,我们发现了一些可自然扩展到其他任务的有效方法,这些任务的输出结果可以通过代码进行验证,从图表、示意图到UI布局均适用:

  • 将推理过程嵌入数据本身。通过训练模型理解选择背后的原因(包括被拒绝的选项),比单纯训练选择本身能学到更多信息。
  • 添加规则前先修正示例。当教师模型出现错误时,我们的第一反应是向提示中添加规则,但这种方法很少奏效。由于教师模型更倾向于复制参考文档而非遵循指令,真正起作用的是修正参考示例本身。
  • 默认确保修复操作的安全性。只有在可衡量地带来改进时才保留的修复方案,可以应用于所有输出。
  • 首先构建验证器。这正是让数据可信、输出安全交付的关键所在。

本文提到的数据集 1

更多该作者的文章

同一模型,不同系统:CUGA、Hermes和深度代理——何时选择CUGA?

27

2026年11月3日

使用IBM Granite时间序列模型进行集成预测

28

2026年10月22日

社区

编辑

预览

可通过拖拽、粘贴或

点击此处

上传图片、音频和视频

轻点或粘贴此处上传图片

评论

· 注册或登录后评论