Build a real-time next-best-offer recommender using Databricks Feature Views
TL;DR · AI 摘要
Databricks Feature Views 实现了特征定义一次、训练和推理统一,支持实时推荐系统,延迟低至 34 毫秒。
核心要点
- 使用 Databricks Feature Views 可实现特征定义一次,同时用于训练和在线推理。
- 实时推荐系统延迟可达到 p95 34 毫秒,支持会话内信号处理。
- Databricks 提供了开源的 Solution Accelerator,可快速部署端到端推荐系统。
结构提纲
按章节快速跳转。
- §引言
介绍实时推荐系统的重要性及构建过程中遇到的挑战。
Databricks Feature Views 实现了特征定义一次,用于训练和在线推理。
通过 Databricks 提供的 Solution Accelerator 快速构建实时推荐系统。
- §性能指标
系统支持 p95 34 毫秒的延迟,满足实时推荐需求。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Databricks Feature Views 实现统一特征定义
- 统一特征定义
- 训练与推理一致
- 避免重复逻辑
- 实时推荐系统
- 低延迟(p95 34 ms)
- 支持会话内信号
- Solution Accelerator
- 开源
- 端到端部署
金句 / Highlights
值得收藏与分享的关键句。
Feature Views eliminate the need for separate feature definitions. You declare the logic once, and Databricks reuses it across training and serving.
Real-time recommendations require both consistency and speed. Features must be computed the same way during training and serving to avoid train/serve skew.
The accelerator includes two parts: a recommender using batch features and an extension that adds streaming, in-session intent.
使用 Databricks Feature Views 构建实时最佳推荐系统 | Databricks 博客
跳至主要内容
平台
2026年11月16日
使用 Databricks Feature Views 构建实时最佳推荐系统
定义一次 Feature,到处使用 —— 一个声明式定义支持在 p95 34 ms 的时间点训练和 p95 34 ms 的在线排序,会话内的信号在 130 ms 内实时可用。
作者:Tian Tan、Sixuan He、Nick Joung 和 Julia Powell
摘要
- 一次构建,到处使用:Feature Views 统一批处理和流处理特征,用于训练和部署。
- 实时个性化:使用实时客户行为对推荐进行排序,p95 延迟为 34 ms。
- 加速实施:使用现成的解决方案加速器部署端到端推荐系统。
实时个性化取决于理解客户在某一时刻的需求。当零售银行客户查看账户、探索信用卡或打开贷款计算器时,每一次互动都表明了他们当前的意图。一个相关的推荐需要在客户仍在会话中时送达。
挑战在于如何将这种意图提供给模型。原始点击流数据必须聚合为时间窗口特征,有两个目的:使用历史值在特定时间点进行训练,以及使用当前值以毫秒级延迟进行预测。分别构建这些管道会创建重复的特征定义,随着时间推移可能会发生偏移并降低模型准确性。
Databricks Feature Views 通过让您为训练和部署一次性定义特征来解决这个问题。在本文中,我们将逐步介绍一个开源的解决方案加速器,该加速器使用 Feature Views 为金融服务构建实时最佳推荐(NBO)系统。
该加速器包括两部分:一个使用批处理特征的推荐系统,以及一个扩展部分,添加了流处理的会话内意图。两者都是在 Databricks 上端到端构建的,您可以克隆并部署可运行的笔记本。
用于训练和部署的一致实时特征
实时推荐需要一致性和速度。在训练和部署期间,特征必须以相同的方式计算,以避免训练/部署偏差,这可能会降低模型准确性。在推理时,这些特征也必须在毫秒内检索和评分。
传统上,满足这两个要求意味着维护独立的系统:一个用于训练特征的批处理管道和一个用于在线部署的手写流处理任务。这会创建重复的逻辑,随着时间推移可能会发生偏移。
Feature Views 消除了对独立特征定义的需求。您只需声明一次逻辑,Databricks 会在训练和部署中重复使用它:
- 批处理特征被写入离线 Delta 表,用于时间点正确的训练,并写入在线存储以实现低延迟部署。
- 流处理特征持续聚合到在线存储中,而历史值则从源事件中按时间点计算用于训练。与批处理特征不同,它们不会写入离线存储。
在训练时,create_training_set API 会检索每个标记事件时存在的特征值,防止未来数据泄漏。在推理时,Model Serving 端点使用 customer_id 从在线存储中获取批处理特征。
两种工作流程都使用相同的特征定义,避免了独立实现的离线和在线转换之间的一致性问题。
实时最佳推荐
该加速器实现了一个用于零售银行的实时最佳推荐(NBO)系统。当客户浏览账户、探索信用卡或使用贷款计算器时,系统会根据会话期间的实时行为,对包括信用卡升级、储蓄产品和个人贷款在内的推荐目录进行排序,以推荐最相关的选择。
该推荐系统结合了稳定的客户上下文信息(如余额、消费、服务时长和风险等级)与捕捉会话意图的近期点击流活动。一个单一的排序模型同时使用这两种类型的数据,而特征视图(Feature Views)则确保离线训练和在线服务之间的特征定义保持一致。
我们是如何构建它的
该加速器包括三个步骤,以可运行的笔记本形式提供,分为两个部分,它们共享一个目录、模式、在线存储和特征定义。
步骤 1:定义批量和流式特征
特征视图(Feature Views)允许您使用相同的方法在批量表和实时 Kafka 流上声明特征:
| 特征 | 声明方式 | 为模型提供什么 | |------|----------|----------------| | 30 天平均余额 | SlidingWindow | 滚动行为 | | 90 天消费 | TumblingWindow | 固定周期行为 | | 忠诚度等级、风险等级、收入、服务时长 | ColumnSelection | 稳定的客户上下文 | | 最近 10 分钟的类别浏览 | RollingWindow on a stream | 最新的会话意图 | | 30 天类别兴趣 | SawtoothWindow | 长窗口,最新的前沿 | | 消费与收入比 | CustomUDF | 派生,按请求计算 |
对于流式特征,将声明指向 Kafka 主题,而不是表。特征视图(Feature Views)持续将事件聚合到在线存储中,无需单独编写流式作业或重复的特征逻辑。
SawtoothWindow 使更长的流式窗口变得实用。例如,30 天的类别计数在新事件到达时保持最新,而无需为每个事件重新计算整个历史。
步骤 2:使用时点正确特征进行训练
使用 Feature Engineering SDK,时点连接重建了每个特征在历史标签时间点的值,防止未来数据泄露。生成的训练集用于 Unity Catalog 注册的 LightGBM 排序器。
由于训练和推理使用相同的特征声明,特征不会因分别实现的离线和在线转换而产生差异。
步骤 3:实时提供推荐
排序器在一条优化路由的模型服务端点上运行。每个请求包含 {customer_id, candidate offers, session context}。端点通过键从在线存储中检索客户特征,并直接对所有 40 个推荐进行评分,无需额外的候选筛选步骤。
第二个优化路由的特征服务端点公开了特征值,使应用程序可以在不直接查询在线存储的情况下显示推荐理由。
延迟、特征新鲜度和吞吐量的基准测试
对于实时推荐系统,最重要的两个指标是点击事件变成模型可见特征的速度,以及训练和推理是否生成相同的特征值。
我们使用其最小配置对加速器进行了端到端的基准测试:一个小型服务端点和一个单节点在线存储,且未进行任何调优。流式事件在大约十分之一秒内变为模型可见,而训练和推理路径生成的值完全一致。
图 1:定义实时推荐系统的三种延迟
每组条形图显示了中位数(p50)和第95百分位(p95)的延迟。前两个指标测量请求延迟,可以直接进行比较。第三个指标测量的是特征的新鲜度,从事件摄入到在线可用性,而不是用户等待的时间。虚线标记了两个服务路径都满足的50毫秒预算。
一个完整的排名请求,包括在线特征检索和推理,在最小端点大小上可以满足50毫秒的预算。添加实时流媒体功能只会增加3-4毫秒的延迟。
吞吐量和容量规划
排名端点在p95延迟超过50毫秒之前,可以维持约56个请求每秒(RPS)。而特征服务端点可以维持约390 RPS。
测量的吞吐量与并发数除以服务时间的计算结果在15%以内,提供了一个实用的规模计算公式:
所需并发数 = 4 × 向上取整(目标RPS ÷ 在SLO下的测量RPS)
根据这些结果,要在50毫秒p95服务级别目标(SLO)内支持每秒150个排名请求,需要12个并发。
我们的测量方法
我们使用了加速器的基准测试笔记本,配合热端点、区域内的客户端和轻负载进行测量。通过将请求键分布在2000个客户中,使用Zipfian分布以增加缓存未命中,排名延迟的中位数为33毫秒,第95百分位为48毫秒。
我们按事件测量特征的新鲜度,从Kafka写入到在线存储中值变为可读。为了保持一致性,我们对每个客户使用null安全相等性,将离线生成的值与在线存储进行比较。
这些结果有两个限制。首先,排名端点使用了按需扩展,因此在空闲期后第一次请求可能会产生数十秒的冷启动延迟。其次,报告的延迟结合了特征检索和推理。因此,27毫秒的测量结果不能直接与仅报告特征读取延迟的基准进行比较。
商业案例:更快的迭代,可衡量的结果
加速器展示了一个可行的实时推荐系统,而不是已证明的收入提升。由于它使用的是合成数据,我们不声称转化率的提升。相反,它为团队提供了一个起点,以衡量业务影响。
- 减少流水线维护:一个特征层取代了三个手动维护的流水线。批处理、流处理和服务共享声明性定义,通过Unity Catalog进行治理和血缘追踪,以支持受监管的金融服务中的审计。
- 更快的实现:克隆仓库、部署捆绑包并运行。第一部分提供了一个受管理的排名器,支持在线特征查找,而第二部分则在不使用独立特征栈的情况下添加了实时会话意图。
- A/B测试的基准:通过使用每个符合条件会话的增量接受报价和下游贡献边际进行比较,将流式、意图感知的排名器与仅批处理模型进行比较,投诉率和退出率作为保护措施。
在生产之前,团队还必须实现资格、同意、适用性和抑制控制。排名报价是建模步骤,而不是最终的报价决定。加速器展示了特征工程和服务基础设施,而不是这些业务规则。
从解决方案加速器开始
加速器让你可以从批处理特征开始,然后在不重建特征基础设施的情况下添加实时流媒体。
- 第 1 部分 —— Feature Views 基础知识:克隆仓库,配置 Databricks CLI 配置文件,部署捆绑包并运行第 1 部分,以构建一个受管控的排名器,支持在线特征查询。
- 第 2 部分 —— 实时流处理:配置 Unity Catalog Kafka 连接和 Amazon MSK 可达性,然后运行第 2 部分。此部分将复用第 1 部分的目录、特征、在线存储和排名器。
- 演示和监控:启动推荐器 Databricks 应用并打开 AI/BI 延迟仪表板。
使用声明式自动化捆绑包(DABs)部署加速器:
$
/$
部署顺序很重要:该应用依赖于第 2 部分的服务端点,这些端点由笔记本在运行时创建。请先部署作业,运行第 1 部分和第 2 部分,然后部署应用。所有内容均在由 Unity Catalog 管理的无服务器计算上运行。
了解更多关于 Feature Views 的内容
Feature Views 让您可以在 AWS、Azure 和 GCP 上一次性定义特征,用于点时间正确的训练和低延迟的在线服务。通过探索加速器,您可以了解批量和流式特征如何在实时推荐器中协同工作。
- 在 GitHub 上获取解决方案加速器
- Databricks 特征存储
- 查询路由优化的模型服务端点
常见问题
什么是 Feature Views?
Feature Views 让您能够一次性定义特征转换,并在模型训练和在线服务中重复使用。它们支持批量和流式特征,并为训练提供点时间正确的历史值,为推理提供低延迟的当前值访问。
Feature Views 如何防止训练和推理之间的偏差?
Feature Views 在训练和推理之间使用共享的特征定义,避免了由于维护独立的转换逻辑而导致的不一致。create_training_set API 还使用点时间连接,以重建每个历史标签时特征值的原始状态,防止未来数据泄露。
Feature Views 是否支持实时流式特征?
是的。Feature Views 可以持续将 Kafka 中的事件聚合到在线存储中,而无需单独编写流式作业。加速器通过使用 RollingWindow 来处理最近的会话活动,以及使用 SawtoothWindow 来处理更长的历史窗口,展示了这一点。
下一个最佳优惠加速器能达到什么性能?
在基准配置中,排名端点实现了 34 毫秒的 p95 延迟,包括在线特征检索和推理。排名端点可以维持约每秒 56 个请求,而特征服务端点可以维持约每秒 390 个请求,直到超过 50 毫秒的 p95 延迟预算。
运行下一个最佳优惠加速器需要哪些条件?
您需要一个 Databricks 工作区、一个配置好的 Databricks CLI 配置文件和加速器的 GitHub 仓库。第 1 部分使用声明式自动化捆绑包部署批量特征推荐器。第 2 部分还需要一个 Unity Catalog Kafka 连接和 Amazon MSK 连接,以整合实时会话活动。
相关标签:
数据科学和机器学习以及金融服务
在您的邮箱中获取最新文章
订阅我们的博客,将最新文章发送到您的邮箱。
注册
查看所有博客
slice-start id="_gatsby-scripts-1"
slice-end id="_gatsby-scripts-1"