Engineering at Meta

F3 Lightning: How Meta Accelerates Ads ML Features to Production at Scale

8.5内容质量
F3 Lightning: How Meta Accelerates Ads ML Features to Production at Scale

TL;DR · AI 摘要

F3 Lightning通过解耦特征发布与共享执行,使Meta广告系统特征部署效率提升3.6倍,同时保持计算成本不变。

核心要点

  • F3 Lightning使特征生产周期缩短3.6倍,基础设施计算成本零增长
  • 四重优化策略解决独立特征计算重复问题:稳定计算标识符+共享执行计划+统一内存缓冲区+密集索引映射
  • F3框架通过DAG合并计算图,将20000+特征共享计算步骤整合为单一执行单元

结构提纲

按章节快速跳转。

  1. 介绍F3框架在广告系统中的核心作用及原有架构的局限性。

  2. ·F3 Lightning架构设计

    通过解耦特征发布与共享执行,实现独立特征的编译验证与部署。

  3. 稳定计算标识符、共享执行计划等技术解决计算冗余问题。

  4. 实测特征生产效率提升3.6倍,计算成本保持不变。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • F3 Lightning架构
    • 核心机制
      • 解耦特征发布与共享执行
    • 优化策略
      • 稳定计算标识符
      • 共享执行计划
      • 统一内存缓冲区
      • 密集索引映射
    • 性能指标
      • 3.6倍效率提升

金句 / Highlights

值得收藏与分享的关键句。

#F3 Lightning#机器学习#生产工程#特征工程#Meta
打开原文

F3 Lightning:Meta如何规模化加速广告ML特征的生产 - Meta工程实践

发布日期

2026年11月3日

分类

机器学习应用

,

生产工程

F3 Lightning:Meta如何规模化加速广告ML特征的生产

.entry-meta

.entry-header

作者

董晓河

Jonathan He

Jesus Francisco Anaya Gonzalez

Purbesh Sahoo

Daniel Wang

  • Facebook Feature Framework(F3)是Meta用于编写、编译和提供广告排序模型底层机器学习特征的框架,单个请求可能需要超过20,000个特征。我们首次在2020年AI @ Scale会议上介绍了F3。
  • F3通过将所有特征编译成单一合并图减少了执行计算成本,但该图也作为发布单元,导致单个失败或无效定义会阻塞整个发布流程。
  • 本文介绍F3 Lightning,这是构建在F3之上的基础设施层,通过将特征发布与共享执行解耦来解决这一挑战,使每个特征能够独立编译、验证、部署和回滚。
  • 最难解决的问题是保持F3的效率提升。早期按特征发布的原型增加了CPU使用率,因为独立特征不再共享计算。我们通过四项优化来弥补这一差距:稳定的计算标识符、单一共享执行计划、所有特征共用的内存缓冲区,以及用于直接数组访问的密集索引映射。
  • 使用F3 Lightning后,可比提取特征现在达到生产的速度是之前F3的3.6倍,且基础设施计算成本没有增加。这种更短的发布周期也使相同周期内可以进行更多模型迭代。

F3共享执行架构简介

生产机器学习系统很少直接使用原始数据。在模型进行预测之前,其特征服务系统可能需要读取存储的信号、过滤事件到时间窗口、计数或求和值、归一化,然后合并中间结果。

完成这项工作的最简单设计是将每个特征视为独立函数。这容易理解,但在规模上会变得低效,因为特征在计算上并不独立。七天点击次数和七天展示次数可能读取相同的事件源并应用相同的时间窗口过滤器。点击率特征可能会重用这两个结果。单独运行每个特征会在每个请求上重复该过滤器和其他所有共享步骤。

F3采用了不同的方法,将特征提取表示为有向无环图(DAG)。每个节点执行一个工作单元,如读取输入、应用过滤器或计算聚合。边表示一个计算依赖于另一个计算的结果。图的输出是模型消耗的特征值。

工程师使用高级语言独立编写每个特征。F3编译器将每个定义转换为小图,然后将服务使用的每个特征的图合并为一个合并图(图1)。当特征共享操作(如上面的七天过滤器)时,编译器将重复项合并为单个节点。这样共享工作只需每个请求执行一次,而不是为每个需要它的特征执行一次。运行时,特征提取是对此合并图的遍历。

图1:F3将所有特征合并为一个图。

共享图使每次发布都全有或全无

F3 的合并图能够高效地共享计算,但这也带来了一个重大问题:该图同时也是发布内容,一个格式错误的定义可能会阻碍合并图中所有其他功能。

图 2 展示了这一挑战。它显示了七个独立开发的功能 A 到 G,其中五个定义是有效的,但 D 和 G 包含不相关的错误。第一次构建尝试在 D 处失败,因此这七个功能都无法发布。在修正 D 之后,第二次构建尝试到达 G 并再次失败。只有在第三次尝试中同时修复了这两个定义后,完整的合并图才能成功部署到生产环境。

图 2:一个失败的功能会阻塞整个发布。

随着 F3 的规模扩大,失败情况变得越来越频繁。F3 最初只处理几百个功能,这个规模下合并操作通常成功,发布过程也相对顺畅。如今这个数量已超过 20,000 个,不同功能类型需要根据其计算方式执行不同的检查,因此新功能和修改后的功能需要接受不同级别的测试。一个已经被模型使用过的功能在发布前需要进行模型相关的测试,这些测试计算成本很高,仅在后续的发布阶段运行,而由于合并图作为一个整体部署,其他所有功能都必须等待这些测试完成。

F3 Lightning:使每个功能独立发布并共享计算

在 F3 上线后,我们对合并图进行了多轮改进。每次改进都暂时恢复了发布速度,但随着更多功能的增加,这些改进效果逐渐减弱,因为所有功能仍然必须一起发布。因此,F3 Lightning 被开发出来,使每个功能都能独立发布,同时保留 F3 的效率。如图 3 所示,F3 Lightning 引入了以下两项改进来实现这一目标:

  • 部署粒度:每个功能都是一个可独立发布的配置。它可以在不影响其他功能的情况下进行验证、发布和回滚。
  • 效率一致性:F3 的效率来自于合并图,因此让每个功能拥有独立发布会消除这一效率来源。要在保持每个功能独立发布的同时实现与 F3 相当的效率,F3 Lightning 需要在执行方式上进行多项关键优化。

图 3:F3 Lightning 将发布边界与执行边界分离。

部署粒度:F3 Lightning 如何隔离功能发布

隔离从编译器开始,每个功能都独立编译成一个单独的配置。该功能配置包含提取该功能所需的所有内容——按顺序列出所有需要的节点,不借用任何邻居的资源。如果功能 C 出现问题,功能 A 仍然可以发布,因为这两个配置之间没有关联。

图 4:一个坏功能不再阻塞好功能。

由于功能在发布时不再合并,每个功能都可以按照自己的时间表进行选择和发布。发布路径变成一个有序队列,而不是一次性全部发布或完全不发布的批次。变更优先级由其解除的阻塞程度决定。一个尚未被任何模型使用的全新功能可以快速通过标准验证发布,而对一个已被实时模型读取的功能的修改则会优先接受额外测试。

图 5:功能根据影响和风险从优先级队列中被选择。

我们的首个原型仅实现了部署分离。功能独立上线,但执行逻辑不再共享,导致原型的CPU使用率远高于传统F3。每个独立发布的配置以独立图形式到达服务进程,并被单独执行,重复执行F3合并图已消除的每一步读取、过滤和聚合操作。

解决方案是重新引入共享执行,但不恢复合并逻辑。F3 Lightning启动时不会重建合并图。它会收集所有活跃功能配置,提取其中的共享工作,并安排成单一执行顺序。恢复性能平衡需要四步:编译器预处理加上三个启动优化。

第一步:稳定标识符使共享工作可识别

为实现执行去重,运行时必须识别两个独立编译的配置是否包含相同计算。节点编号无法做到这点,因为编号是每个功能图的局部属性。同一7天过滤器可能在一个配置是节点2,在另一个配置是节点7,插入新节点会重新编号后续所有节点。传统F3从未遇到此问题,因为单次编译器运行能看见所有功能,可全局分配标识符。

F3 Lightning则让编译器根据工作内容而非位置生成标识符:操作类型、参数和输入标识符(见图6)。由于每个输入标识符已反映其上游所有内容,该标识符能捕捉生成结果的完整工作链。当输入顺序不影响结果时,会按标准顺序排列输入。聚合操作还会包含定义其行为的属性,如时间窗口和分组键。因此,即使两个功能在数周后编译发布,只要它们定义了相同操作和相同输入,就会获得相同标识符。如果计算逻辑改变,其标识符也会随之改变。

图6:相同计算获得相同标识符。

第二步:所有功能共享单一执行计划

服务启动时,F3 Lightning为所有活跃功能构建单一执行计划,使用拓扑排序确保每个节点排在其依赖节点之后。当多个功能包含相同标识符的节点时,计划保留一个副本并连接所有消费者,使该计算无论被多少功能使用都只执行一次。

合并机制保证每个计算只执行一次,但计划仍是执行器逐指针遍历的图结构。因此同一启动流程会将其扁平化为有序列表,每个请求只需沿列表执行单次前向传递,而非遍历图结构。

共享计划带来风险:单个计算失败可能影响所有功能。为避免此问题,若计算失败或输入不可用,F3 Lightning会标记其下游所有节点为未就绪,执行器跳过这些工作。失败仅影响依赖该节点的节点,独立分支继续运行。

第三步:共享内存缓冲区,因为去重还不够

步骤 1 和 2 完成后,虽然没有重复计算,但 CPU 使用率仍高于传统 F3。剩余的计算成本来自内存布局。每个配置都携带自己的请求时数据容器,导致中间结果分散在多个内存分配中。按顺序执行计划意味着需要在这些内存块之间频繁跳转,而每次跳转都会导致缓存未命中。

F3 Lightning 将每个特征的容器替换为每个请求一个缓冲区。启动时,每个特征的引用都会重新绑定到该缓冲区的槽位。单个缓冲区带来了三个改进:

内存局部性:连续的计划步骤现在访问相邻内存,因此步骤读取的值通常已存在于缓存中。这恢复了合并图始终具有的顺序访问模式。同时消除了每个请求的特征分配。

单一就绪向量:一个单独的向量(与值分开存储)取代了每个特征的跟踪机制,因此执行器无需读取值本身即可检查值是否就绪。标记必须独立存在,因为空列表是一个有效结果,"空"不能同时表示"尚未计算"。

无重复复制:大多数特征值是列表和映射,消费者不再获得自己的副本。共享槽位保存对生产者结果的引用,因此被 20 个特征使用的计算只需执行一次并存储一次。标量(单值)仍需复制,因为复制小值比跟随指针更便宜。这是安全的,因为每个缓冲区仅持续一个请求周期,执行顺序保证每个结果的生命周期长于其最后一个读者。

图8:所有特征共享一个内存缓冲区。

第4步:密集索引映射消除最后一次访问成本

值现在集中存储,但查找特定值仍然计算成本高昂。每次访问都需要解析标识符,这意味着哈希键、探测桶和跟随指针。在 Meta 的服务规模下,这种查找效率低下。

最终的解决方案应用了与步骤 2 和 3 相同的原理,在启动时一次性完成工作。F3 Lightning 为每个唯一标识符分配连续整数槽位,并将每个配置中的所有引用重写为指向这些槽位,因此标识符仅在初始化阶段使用。读取结果变为对共享缓冲区的直接数组索引访问,无需哈希和无需查找表。

使用 F3 Lightning 后,可比提取特征现在达到生产环境的速度是传统 F3 的 3.6 倍,且基础设施计算成本没有增加。更短的发布周期意味着在相同时间内可以更频繁地改进和重新训练模型。构建 F3 Lightning 还让我们学到了三个经验:

部署和执行应有独立边界:如果一个工件同时决定组件的运行方式和发布时间,其中任何一个环节的故障都会阻塞所有其他环节。将这两个任务分离消除了效率与发布速度之间的权衡。

所有请求间不变的工作应在启动时完成,而非请求路径上:三个任务对每个请求都完全相同:识别共享工作、决定执行顺序、查找结果存储位置。F3 Lightning 现在在服务启动时一次性完成这些任务,因此独立发布不会增加单个请求的计算成本。

两种设计可以按相同顺序执行相同操作,但CPU计算成本仍可能存在显著差异:在F3 Lightning中,我们消除了所有重复计算,但CPU使用率仍高于传统F3。每个特征仍然保留着共享结果的独立副本,分散在内存中。将它们合并为每个结果一个副本后,这一差距得以消除。这是项目中最不显而易见的成果,也是扩展性最强的优化方向。在现代CPU上,结果的存储位置和副本数量可能与执行的计算数量同样重要。

致谢

我们想感谢Sourabh Bansal、Ping Chen、Weitao Chen、Benjamin Dummitt、Junhua Gu、Henry Hu、Jing Huo、Joffrey Liu、Rocky Liu、Weixi Ma、Shuby Mao、Sandeep Pandey、Mihir Rastogi、Tim Sombuntham、Matt Steiner、Vivienne Sung、Ritwik Tewari、Vivek Trehan、Arnaud Venet、Ziheng Wang、Gautam Wilkins、Fan Yang、Qiao Yang、Jie Zheng以及所有参与F3开发和生产化的团队,Meta的广告机器学习特征计算与服务平台F3,以及基于其构建的F3 Lightning能力模块的开发团队。