Engineering at Meta

Intelligent Delivery: Making Every Unit of Compute Serve Better Ads

8.5内容质量
Intelligent Delivery: Making Every Unit of Compute Serve Better Ads

TL;DR · AI 摘要

Meta的Intelligent Delivery系统通过机器学习优化计算资源分配,提升广告排名性能约10%。

核心要点

  • Intelligent Delivery系统自2017年以来提升广告排名性能约10%
  • 使用ML模型预测计算资源的边际效用以实现动态优化
  • 代理AI技术用于持续检测系统变化并自动调整资源分配

结构提纲

按章节快速跳转。

  1. 介绍广告系统面临计算资源与模型规模不匹配的挑战。

  2. 阐述构建全局最优交付系统的三大核心难题。

  3. 通过ML模型预测计算边际效用并动态调整资源分配。

  4. 描述多层级资源调度机制与代理AI的协同运作方式。

  5. 详述如何构建预测模型并实现跨系统参数的动态优化。

  6. 展示系统自2017年以来持续提升广告排名性能的实证数据。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Intelligent Delivery系统
    • 核心目标
      • 全局最优资源分配
      • 提升广告性能
    • 关键技术
      • ML边际效用预测
      • 多层资源调度
      • 代理AI应用
    • 实施成果
      • 10%性能提升
      • 2017-2026持续优化

金句 / Highlights

值得收藏与分享的关键句。

#机器学习#资源分配#广告系统#Meta#LLM
打开原文

智能分发:让每一单位计算资源服务更好的广告 - Meta工程团队

发布于

2026年11月11日

至

机器学习应用

智能分发:让每一单位计算资源服务更好的广告

.entry-meta

.entry-header

作者

张兆军

朱钦伟

李刚

肖建伟

王燕楠

李红梅

Deepak Vijaywargi

潘凯

于立

  • 广告排序模型正以比支撑它们的硬件更快的速度向大语言模型规模发展。额外的计算资源单位对某些广告请求、模型和芯片的影响比其他情况更大。挑战在于决定如何分配这些资源以实现整个系统的最佳效果。
  • 我们构建了智能分发系统,这是一个由机器学习驱动的资源分配系统,能够将资源在服务堆栈中分配到系统全局最优位置。自2017年以来,该系统在模型和系统进步的基础上实现了约10%的排序性能提升。
  • 我们将分享智能分发的部分能力:我们如何构建机器学习模型预测计算资源的边际效益,如何通过多层级机制在系统中调配资源,以及我们如何越来越多地利用自主智能体AI持续检测和响应系统变化。

随着前沿广告排序系统向更大模型、更广候选集和更丰富的分发架构发展,它们对服务效率的要求也日益提高。计算资源的扩展速度无法与模型和系统复杂度的提升保持同步。挑战不仅是如何构建更强大的模型,更在于如何在异构系统中、有限的服务容量下、严格延迟预算内高效运行这些模型。我们最近分享了如何利用闲置的推理能力。本文将介绍我们如何决定每个计算资源单位的分配位置以实现全局最优系统效率。

智能分发是我们解决这一问题的方法,自2017年至2026年上半年,它在主要界面上为广告排序性能带来了额外约10%的提升。它引入了一个由机器学习驱动、日益依赖人工智能操作的自适应优化层,该层持续将资源导向具有最高边际效益的请求、模型、硬件集群和排序阶段。这使我们能够高效运行先进的广告排序模型,在生产环境中充分利用每一单位计算资源,为使用我们应用和服务的人群提供更好的广告体验。

目标与挑战

我们的目标之一是构建一个能够持续收敛到全局最优的分发系统,无论用户行为如何变化、模型如何演进,或服务堆栈如何变得复杂。

广告分发系统的三个基本特性使这一目标充满挑战:

计算资源的边际影响高度异质且依赖上下文:相同的额外计算资源单位在不同产品界面、用户意图、候选集质量和系统状态下的回报可能截然不同。仅依赖请求感知信号不足以实现有效分配;良好的资源分配需要为每个请求估算所有可用可调系统参数的回报,而每个参数在漏斗不同阶段的表现各不相同。我们需要在毫秒级时间内,针对每个请求在广阔决策空间中生成结果计算。

局部最优无法保证全局最优:结果估算只是起点;服务堆栈还必须具备动态可控性。广告投放涉及多阶段排序、数百个模型、多代硬件和多个数据中心。在没有自适应控制机制的情况下,无法可靠地在这些边界之间自由转移资源,而这些机制必须考虑堆栈各层级的复杂依赖关系。

全局最优是一个动态目标:优化环境持续变化。每个新模型、硬件代际或架构创新都会改变优化景观,并可能使之前的最优资源分配决策失效。系统需要足够快速地适应,以保持其最优性。

智能投放包含三项能力,每项能力都针对上述系统挑战中的一个核心问题。

智能投放的核心能力

1. 请求理解:面向计算的共享机器学习智能层

某些广告请求从额外计算中获益更多。最初我们通过粗粒度分段来捕捉这些差异:请求按表面、上下文和广告创意表现等属性分组,工程师为每个组制定资源分配策略。这种方法虽然带来改进但无法扩展。每个新信号都会使规则数量呈指数增长,导致方案不可持续,且独立分段无法捕捉数千个信号间的非线性交互,限制了准确性。

我们将问题重新定义为两个机器学习任务后,在主要界面上的离线基准测试中,相比之前的生产模型,识别高影响力广告请求的准确率提升了约20%。这两个任务分别是:哪些广告请求最可能从额外计算中获益?不同资源配置如何影响它们的投放效果和性能?

静态规则分段(每个分组内的请求获得相同计算资源)与信号驱动决策(通过机器学习预测器为每个请求单独设置计算资源)的对比。

为回答第一个问题,我们构建了资源核心模型(Resource Core Model):包含60亿稀疏参数和2000万密集参数的深度学习模型。该模型在候选检索前运行一次,并在投放漏斗中各环节共享。学习到的嵌入向量和深度特征交互捕捉了人工定义分段无法识别的细微请求模式。

随后我们将资源核心模型微调为一组专用模型,每个模型生成关于效果、计算消耗和延迟影响的增量信号。这些共同构成了资源分配的共享机器学习智能层:资源核心模型理解每个请求及其服务行为,而具体机制决定如何将这些预测转化为实际操作。

资源核心模型架构图,展示了密集和稀疏请求特征如何通过堆叠交互层,预测每个请求的效果、计算消耗和延迟影响。

2. 分配机制:决策引擎的层级体系

广告投放系统运行在全球分布的异构舰队上,该舰队涵盖多个数据中心区域、多种硬件世代以及数以百万计的主机,所有资源均由多层级的投放架构共享。单一的分配机制无法端到端控制复杂的资源分布。因此我们将问题分解为分层结构,并为每一层构建了专用的决策引擎。最直观理解这一分层结构的方式,是跟踪单个请求在整个流程中的传递路径。

当用户打开信息流时,系统会生成广告请求,并在接下来的数百毫秒内,该请求将依次经过一系列资源分配决策。这引出了三个关键问题及对应的解决方案。

哪个区域负责处理该请求?流量与容量分布并不重合,每个区域的硬件组合和容量余量各不相同——因此相同计算单元在不同区域的效率存在差异。我们构建了实时基础设施,可在数分钟周期内动态调整区域间流量分布,使每个区域的边际容量单位效率趋于一致。

该请求最终落在哪种硬件上?我们的舰队涵盖来自英特尔、AMD和ARM的CPU,以及来自NVIDIA、AMD和我们自研的Meta Training and Inference Accelerator(MTIA)的加速器,且覆盖多种硬件世代。难点不在于硬件多样性,而在于容量不可互换。各处理阶段受不同资源限制——检索阶段受限于内存容量,排序阶段受限于计算能力,模型推理阶段受限于加速器吞吐量——因此不存在单一最快的硬件型号,只有针对不同工作负载的最佳匹配。我们对每种工作负载与硬件型号的组合进行效率基准测试,然后通过优化算法将稀缺硬件分配给能产生最大价值的工作负载。

在主机内部,该请求能获得多少计算资源?在严格的尾部延迟SLO约束下,并发请求的延迟预算和影响各不相同。我们利用先进的深度学习模型实时预测每个请求的预期结果及其计算和延迟成本,通过约束优化算法最大化主机延迟预算内的影响输出——随着主机负载增加,性能权衡曲线会上升,资源消耗大但影响低的任务会优先被削减。执行这些决策需要贯穿整个技术栈的控制机制,因此该框架覆盖从内核级调度器到应用级线程池的全栈范围。

跟踪单个广告请求通过决策层级的三步流程图:确定由哪个区域处理,分配到哪种硬件,以及在主机上获得多少资源。

这三个步骤仅是我们在请求生命周期中做出的资源分配决策的一部分。随后,我们还会优化每个排序阶段每个请求的广告排名数量,确定哪些广告候选者进入候选池等更多环节。

这些分配决策紧密耦合,任一环节的资源变化都会在整个系统中产生连锁反应。区域间流量调整会改变单机负载,进而驱动反馈控制器决定每个请求能获得的处理量。我们通过端到端的闭环硬件测试环境验证这些调整,确保优化目标是全局最优而非局部最优。

3. 优化循环:基于智能体AI的自优化投放系统

随着广告系统的演进,将新模型、新机制或新硬件投入生产需要大量工作以实现无缝集成。我们无法通过暴力方式逐一调整系统中数以百万计可调参数的每一个配置。这将耗费过多时间,并需要远超我们现有资源的硬件投入。

我们曾高度依赖人工专业知识和工程师的先验知识来识别有前景的配置。但这种方法无法扩展,因为每当有新模型、新机制或新硬件出现时,搜索空间的扩展速度都远超工程师的探索能力。我们曾尝试通过约束优化方法实现自动化,虽然取得了一定改进,但这种方法仍然缺乏灵活性且效率低下。我们发现它无法进行泛化(只能覆盖少数关键参数),也无法有效整合工程师从过往经验中获得的直觉。

与盲目搜索不同,AI代理持续监控整个系统环境,识别变化并发现低效环节加以改进。在长上下文窗口中,代理会阅读机制源代码、设计文档和十年的实验日志,最终筛选出少数值得测试的变更。工程师在变更部署前会审核并批准最终修改。

如今,代理已经能够提出合理变更,并设计和执行严谨的实验。2026年上半年,代理已贡献了约20%的智能投放优化工作。在我们最自动化的机制中,代理现在承担了约80%的工程工作量,从理解系统环境、形成假设到执行实验并最终确定变更。这将优化周期从数月缩短至数周,同时始终保持人类的最终控制权。它持续捕捉工程师多年来积累的专业知识。

AI驱动优化循环的流程图,其中代理收集数据、提出变更并执行实验,工程师批准每项变更,共享知识库为每个步骤提供支持。

智能投放的下一个前沿领域

端到端实时优化:目前,理解请求和决定如何响应仍是两个独立步骤。我们正在构建一个融合这两个步骤的单一模型,该模型可实时读取请求并立即响应,而无需数月的实验。基于学习方法的按请求调整计算量已有成熟方案。然而,如何在流量变化、硬性容量限制和紧密的阶段间依赖关系下,同时在每个服务阶段联合执行这一优化,仍是待解难题,这也是我们当前重点突破的方向。

在GPU上运行前沿模型:大型排序模型(如Meta的生成式广告模型GEM)正向大语言模型规模发展,且越来越多地运行在GPU上,这开启了全新的优化空间。GPU容量不像CPU时间那样可分割——它以完整的固定块形式存在,吞吐量、批处理和内存行为都截然不同。我们为CPU世界设计的杠杆需要重新构思,目前大量工作集中在理解这些机制并将其转化为新的优化杠杆。我们从每个加速器中获取的有用工作越多,在相同容量下就能为更多人提供强效模型服务。

索沃吉·阿达维,卡ARTHik·阿莱,蔡涛,奥利维耶·尚,杜建浩,安东尼奥·弗里戈,加亚特里·甘努,李超,马超,本内特·马塔兹奥尼,里德希·梅赫塔,索拉布·波赫纳卡尔,苏德希尔·波克雷尔,钱跃辉,乔良,邱一滔,罗布·施瓦茨伯格,桑克赫特·谢蒂,宋干林,萨缪尔·塔蒂帕穆拉,王雪琪,王叶,魏伟,徐静,于浩民,俞嘉毅,杰伊·张,张才杰,张圣杰,张桐,郑伟。