AWS Architecture Blog

How Zillow runs 100 million daily notifications on AWS Step Functions

8.5内容质量
How Zillow runs 100 million daily notifications on AWS Step Functions

TL;DR · AI 摘要

Zillow通过AWS Step Functions Express Workflows和配置驱动的编排系统,每天处理1亿条通知,提升效率并减少重复工作。

核心要点

  • Zillow每天处理1.02亿条通知,每个通知作为独立的短生命周期工作流执行
  • Campaign Orchestrator和Universal Content Generator(UCG)减少70%的重复工程工作
  • 新系统使产品团队能将活动上线时间缩短50%,并降低30%的运营成本

结构提纲

按章节快速跳转。

  1. Zillow每天处理1.02亿条通知,使用AWS Step Functions Express Workflows实现规模化处理

  2. 原有10个微服务各自维护独立工作流,导致重复工程和不一致行为

  3. Campaign Orchestrator配置驱动编排层与UCG可重用内容模块组成新架构

  4. 新系统使活动创建时间缩短50%,运营成本降低30%

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Zillow通知系统架构
    • 旧系统问题
      • 微服务重复工作流
      • 业务规则不一致
    • 新系统架构
      • Campaign Orchestrator
      • Universal Content Generator (UCG)
    • 实施效果
      • 上线时间缩短50%
      • 运营成本降低30%

金句 / Highlights

值得收藏与分享的关键句。

  • Zillow每天处理超过1.02亿条通知,每个通知作为独立的短生命周期工作流执行

    — 引言段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 旧系统中每个微服务拥有独立的工作流和业务规则,导致重复工程和不一致

    — The challenge章节

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 新系统使产品团队能将活动上线时间缩短50%,并降低30%的运营成本

    — 实施效果段

    ⬇︎ 下载 PNG𝕏 分享到 X
#AWS#Step Functions#架构#通知系统#云原生
打开原文

Zillow如何在AWS Step Functions上每天发送1亿条通知 | AWS架构博客

Zillow如何在AWS Step Functions上每天发送1亿条通知

每天,Zillow都会向房屋买家发送超过1亿条个性化电子邮件和推送通知:保存的搜索提醒、房屋推荐、房产更新、卖家报告和提醒。这些消息是Zillow与房屋买家互动的核心方式,Zillow通过在每场活动中保持一致的行为,准时交付这些消息。如今,每条通知都作为AWS Step Functions Express Workflows上的独立短时工作流执行运行。

这项工作的基本模式并不仅限于房地产领域。许多系统都需要以高吞吐量运行相同类型的工作流:接收一个事件,从多个服务中丰富数据,应用规则,组装输出并发送。本文将展示Zillow如何构建一个配置驱动的编排系统来大规模运行这种模式,以及跨多个领域的团队可以从中复用哪些内容。

在Zillow早期,每个活动都由独立的生成器服务负责,每个服务都包含自己的工作流、数据模型和业务规则。随着通知活动数量的增长,重复的工程工作、行为不一致和运营成本也同步增加。产品团队需要更快地推出活动,复用共享能力,并在不依赖特定系统的情况下运行一致的实验。

为满足这一需求,Zillow Comms Experience团队与AWS合作构建了两部分。第一部分是Campaign Orchestrator(活动编排器),这是一个配置驱动的编排层,通过Step Functions Express Workflows将每条通知作为短时工作流执行运行。第二部分是Universal Content Generator(UCG)(通用内容生成器),这是一个包含可复用、基于模式的内容模块库,这些工作流会调用这些模块。这两部分共同使活动创建更快更一致,并为AI辅助工具提供了声明式格式的接口。

挑战:为什么原有系统需要被替换

原有的内容生成模式减缓了产品交付速度。Zillow的Comms Experience团队支持超过20个由10多个微服务生成的电子邮件和推送活动。每个微服务都拥有自己的工作流、模型、业务规则和组装逻辑。

大多数活动遵循相同的模式:接收触发器、填充数据、应用规则、组装内容并发送消息。每个活动服务都独立实现这一模式,导致重复的工程工作和行为不一致。此外,每次发布、监控、日志、仪表板和值班支持都需要额外的运营开销。

每个活动都作为独立服务构建,是因为在这些系统最初构建时,扩展性是主要挑战。随着Zillow增加更多产品,权衡发生了变化。类似的功能在不同活动中以不同方式实现,因此每个新功能都需要在每个服务中重新构建和测试。这使得跨产品功能的推广变得困难,也减缓了开发速度。推动集中化的动力来自于这种成本:我们需要加快速度,并在每个客户体验中保持一致性。通过一个共享的实现,功能可以一次构建并在所有地方复用,同时每个活动仍保留定制体验的灵活性。在评估工作流引擎之前,我们首先需要将共享逻辑提取为可复用模块,并将活动决策转移到配置中。

以下图表展示了原始架构,其中每个活动生成器都携带自己的工作流、数据模型和业务规则副本。

图1:原始系统

竞争评估

我们根据四个标准对Temporal、Flowable、内部引擎以及Step Functions标准工作流和快速工作流进行了评估。这些标准包括可靠性、总体拥有成本、开发速度以及服务在跨团队扩展方面的表现。引擎必须可管理、配置驱动,并能够编排新旧服务。价格也必须符合我们的业务量需求。

Temporal和Flowable需要增加另一个基础设施组件来运行。这与我们两个核心目标相悖:减少原始系统带来的发布、监控和值班开销,并快速启动试点项目。两者都不是AWS托管服务,因此我们必须自行运行和扩展它们。Step Functions是无服务器架构,因此我们无需运行服务器或工人集群,团队可以在不先搭建基础设施的情况下启动试点项目。内部引擎提供了控制权,但需要自定义生命周期管理、工人池、队列集成和监控。Step Functions在满足核心编排需求方面仅需估计构建工作量的四分之一和持续维护工作量的四分之一。它是最小可行产品(MVP)的明确选择。

快速模式与标准模式的对比

我们的规划模型假设高吞吐量、低延迟的工作流。MVP计划从每天1400万个工作流扩展到所有活动超过1亿个工作流。在全面扩展时,这意味着高峰期每秒数千次执行。每个工作流仅运行几秒钟,通知必须在其仍然相关时送达。我们评估了Step Functions的两种执行模式,对于我们的使用场景,快速工作流是更合适的选择。

下表显示了标准工作流和快速工作流在每个关键特性上的要求对比:

Zillow需求 | 标准工作流 | 快速工作流 ---|---|--- 高工作流吞吐量 | 默认启动配额较低 | 默认启动配额较高 低延迟 | 优化用于持久化、长期运行的工作流 | 优化用于短期运行的工作流 执行保证 | 精确一次(比需求更强) | 至少一次(与幂等模块配合足够)

我们的工作流具有高吞吐量、短暂生命周期、在五分钟快速模式限制内完成,并围绕幂等模块调用设计。我们在流量增长期间验证了配额、延迟和操作行为。

架构

活动编排器是一个配置驱动的工作流平台。每条消息都是输入数据与持久化活动配置的组合。配置对每个工作流相对静态,而输入数据则根据配置步骤的组装保持灵活。

共享的编排层读取排队的活动事件,适当分组工作,并为每个活动调用相应的Step Functions快速工作流。活动元数据描述产品常量、所有权和Zillow环境特性。工作流配置描述步骤拓扑、步骤级配置、映射、分支、延迟行为和发送行为。

以下 JSON 展示了一个简化的流程输入,将消息负载与驱动流程的平台、活动和配置元数据相结合:

code
{
  "payload": {
    "trackingId123": {
      "recipientId": "user123",
      "homeIds": ["home1", "home2"]
    }
  },
  "platformMetadata": {
    "messageType": "email",
    "source": "savedSearch"
  },
  "campaignMetadata": {
    "campaignName": "saved_search_alert",
    "owner": "comms_experience"
  },
  "config": {
    "modules": ["user_profile", "property_data", "email_transformation"],
    "experiment": "cta_test"
  }
}

下图展示了新架构,其中单一共享编排层和一个可重用模块库服务于所有活动。消息从左到右通过图表移动。入口服务将其排队,路由器应用活动控制并启动流程。活动编排器运行 Step Functions 的步骤,每个步骤调用一个 UCG 模块,然后传递服务发送结果。

图 2:新系统

路由器

我们的活动在流程启动前需要应用一组控制:队列轮询、批处理、幂等性检查、暂停和恢复行为、重播协调、速度控制以及活动路由决策。其中一些控制与我们如何排序和限制活动发送方式相关,因此它们位于 Step Functions 之外。

我们将这些控制集中在一个自研的路由器服务中,该服务从 Amazon Simple Queue Service(Amazon SQS)读取并启动正确的 Step Functions 流程。将它们集中管理后,我们可以在不修改任何流程定义的情况下,通过单一入口暂停活动、重播批次或调整发送速度。

共享模块(UCG)

通用内容生成器(Universal Content Generator)是活动编排器背后的内容生成模块化层。与每个活动拥有独立生成器不同,UCG 将共享功能组织为可重用模块。在 UCG 之前,这些逻辑分散在 10 多个独立生成器中。将它们集中到一个服务中也优化了流量分布。过去一些日常活动运行约 4 小时,其余 20 小时生成器处于空闲状态。现在所有活动共享一个服务集群,负载会均匀分布在全天。

模块处理的功能包括属性填充(为消息中的每个房源加载价格、照片和地址等详细信息)、隐藏房源(用户选择隐藏的房源,我们将其从通知中过滤)、通用数据(每个活动为收件人加载的订阅信息、已保存房源、资格标志和倾向评分)、推荐、A/B 测试和内容组装。这些模块是无状态的,并通过模式驱动实现。

通过 HTTP Invoke 直接调用服务

一个关键设计选择是通过 Step Functions 的 HTTP Invoke 直接调用 UCG。这种设计符合两个需求。首先,我们的内容生成逻辑已经在私有服务环境中以长期运行的容器化服务形式存在,具备网络访问、服务发现和认证能力。其次,将流程步骤路由到 UCG 不会产生额外的计算成本。

通过 Step Functions HTTP Invoke,我们调用已运行的 UCG 模块来执行数据填充、规则检查和内容组装。认证过程通过 Amazon EventBridge 连接实现。每个 HTTP Invoke 任务通过 ConnectionArn 指向该连接。连接中保存着 API 密钥,UCG 会在每次请求时验证该密钥。Amazon EventBridge 将密钥存储在 AWS Secrets Manager 中,并在调用时将其添加到请求中。工作流定义中永远不会包含该密钥,我们的应用程序代码也是如此。当密钥轮换时,我们只需在连接中更新一次,所有工作流都会自动获取新密钥。

为了避免在每个工作流中重复配置相同的 HTTP Invoke 设置,我们引入了组件继承机制。组件采用我们通过 AWS CloudFormation 部署的 Step Functions 任务定义的略微修改版本编写。基础组件保存多个步骤共享的配置,其他组件继承该基础组件。以下基础组件 content_module_call 定义了每个工作流步骤如何通过 HTTP Invoke 直接调用 UCG 服务:资源地址、方法、请求头以及前面提到的连接的 ConnectionArn。

code
{
  "Type": "Task",
  "Resource": "arn:aws:states:::http:invoke",
  "Arguments": {
    "ApiEndpoint": "{% '${contentServiceEndpoint}' & '/modules/' & $moduleId %}",
    "Method": "POST",
    "Headers": {
      "Content-Type": "application/json"
    },
    "InvocationConfig": {
      "ConnectionArn": "${connectionArn}"
    }
  }
}

业务模块继承共享的 HTTP 组件,仅需提供模块端点。部署前,我们的构建脚本会将每个组件替换为标准的 Task 状态:它加载 Extends 字段中指定的组件,将步骤自身的字段合并到基础配置上,然后将结果写入我们部署的 Terraform。工作流定义可以专注于产品意图,而非网络配置细节:

code
{
  "Type": "Component",
  "Extends": "content_module_call",
  "Arguments": {
    "ApiEndpoint": "{% '${contentServiceEndpoint}/modules/profile_module' %}"
  }
}

配置抽象层

Step Functions 状态机定义、JSONata 表达式和基础设施定义功能强大,但并非每个活动负责人适合直接使用这些接口。我们添加了更高层次的配置层,使活动负责人无需理解 Step Functions CloudFormation 配置即可定义自己的工作流。每个活动配置描述一个工作流:运行哪些模块、执行顺序以及数据如何在模块间流动。系统会将该配置转换为部署的 Step Functions 定义和 CloudFormation 模板。活动不共享一个在运行时动态选择模块的通用工作流。每个活动都会获得自己的专属工作流,由相同的共享模块和组件构建。下一步我们正在考虑一种通用工作流,能够根据配置实时组装模块。每个活动仍会运行该工作流的独立副本,从而保持活动间的隔离性。

活动负责人指定电子邮件模板或推送通知所需的模块。每个模块暴露输入、输出和配置的 Schema。活动负责人定义模块输出以满足模板输入 Schema 的要求。模块输入定义需要触发器提供的内容。

通过这种结构,活动所有者可以通过声明式流程进行配置。他们使用配置而非原始工作流代码或 JSONata 表达式进行操作。他们还可以运行受控实验,并为 AI 工具提供可检查、生成和修改的格式,同时进行适当的验证。

以下简化版 A/B 测试配置改编自真实的 Campaign Orchestrator 配置。它在电子邮件转换之前注入 A/B 测试模块,并将实验结果映射到下一步,而无需直接操作 Step Functions 或 CloudFormation 定义。

code
{
  "steps": [
    { "module": "profile" },
    { "module": "property_data" },
    { "module": "experiment", "experiment": "cta_variant_test", "before": "assemble_email" },
    { "module": "assemble_email", "inputs": { "variant": "experiment.result" } }
  ]
}

由于活动以经过模式验证的配置进行声明,保护人工更改的相同契约也适用于 AI 辅助工具。我们的内部助手已能根据产品简介起草模块选择和映射,输出内容必须通过相同的模式检查、JSONata 测试和 Step Functions 验证后才能部署。

批量模式优化

Campaign Orchestrator 支持批量处理,这在提高整体吞吐量的同时降低成本。与每条消息启动一个工作流不同,路由器可以将消息分组并为批量调用一个工作流。

例如,单独处理 100 条消息可能会产生 100 次工作流执行和 400 次对 UCG 服务的 HTTP 请求。通过批量处理,相同的消息可以在一个工作流中处理,仅需四次 HTTP 请求(假设每一步都支持批量输入和输出)。这在我们的业务规模上具有双重意义。Express Workflows 会针对每次请求和运行时间收费。批量处理减少了请求数量,但每个批次的运行时间更长。经验法则:只要一个批次的运行时间不超过单次运行的 10 倍,10 条消息的批次成本将低于 10 次独立运行。在前述四步示例中,单条消息耗时约 1.2 秒,因此如果 10 条消息的批次在 12 秒内完成,将节省成本。实际上,一个批次的运行时间仅比单条消息长 10% 到 20%,即 1.4 秒而非 12 秒。这使得 10 条消息的批次成本比 10 次独立运行低约 90%。批量有效载荷保持在 256 KiB 限制内,因此内存仍按 64 MB 的最低标准计费。更少的执行次数和 HTTP 请求也会减少我们配置的 StartExecution 速率、HTTP 调用并发性和日志吞吐量的使用。这为在相同配额下发送更多通知腾出了空间。

批量处理模式会出现在 Step Functions 定义和 JSONata 表达式中。这个简化示例将批量有效载荷塑造成批量 UCG 请求,同时保留每个跟踪 ID:

code
{
  "campaignName": $campaignMetadata.campaignName,
  "messages": $map($keys($states.input.payload), function($trackingId) { (
    $message := $lookup($states.input.payload, $trackingId);
    {
      "trackingId": $trackingId,
      "recipientId": $message.recipientId,
      "homeIds": $message.homeIds,
      "config": $config.propertyHydration
    }
  ) })
}

批量处理仅在工作流中的每一步都能处理批量数据而非单个消息时才能正常工作。对于UCG而言,这一要求已内置于模块API中。每个模块的模式定义了其输入、输出和配置模型,模块API会以跟踪ID为键接受这些模型作为批量输入。未遵循该API的模块将无法构建。我们的JSONata映射以及上游和下游服务合同已内部支持批量输入,因此添加批量处理功能无需重新设计它们。

批量处理也不能让我们失去对单个消息的可见性。由于每个批量以跟踪ID为键,如前面的示例所示,UCG会为每个跟踪ID返回每个模块的结果。路由器使用这些按消息划分的结果单独进行消息投递、重试或丢弃,因此单个消息的失败不会影响整个批量。

下图展示了路由器如何将消息分组到单个批量工作流执行中。

图3:批量处理模式

扩展性:性能与组织架构

在我们的目标吞吐量下,服务配额是架构的一部分。在流量增长前,我们审查了Step Functions StartExecution速率限制、HTTP Invoke并发量以及Amazon CloudWatch日志吞吐量。HTTP Invoke并发量需要优先关注,因为其默认配额低于Express Workflows启动速率。我们根据容量模型计算了所需的并发量,并在每次发布阶段前与AWS合作提高配额,因此吞吐量限制从未成为流量增长的瓶颈。

我们分阶段规划了发布流程,从早期流量到每日超过1亿次执行。通过这种方法,我们可以在全面扩展前验证成本、配额、延迟和运营情况。

该架构还支持组织架构的扩展。产品团队拥有活动模块、步骤、配置以及与自身流量相关的Step Functions成本,因此他们可以自主启动和更改活动,无需等待中央团队。中央团队负责共享基础设施,如路由器服务、Step Functions模式、Amazon SQS集成和部署工具,因此一次改进可惠及所有活动。

共享代码并不意味着共享故障。每个活动的Express状态机都由相同的模板和模块生成,因此隔离机制不会导致代码重复。每个活动仍运行自己的状态机和Amazon SQS队列,路由器会为每个队列分配独立的轮询线程、工作线程池和断路器。当某个活动失败或阻塞时,仅其自身的断路器会触发,我们可以暂停其队列而无需影响其他队列。一个活动的流量激增或下游故障不会成为其他活动的噪声邻居。

测试

配置驱动的工作流需要严格的验证,因为大量行为依赖于JSONata表达式和活动配置。我们将共享的JSONata表达式保存在专用文件中,并为其要求单元测试。这些测试并非离线字符串评估。测试运行器会构建一个小型Step Functions状态机,并通过Step Functions TestState API执行,使用与Step Functions相同的运行时验证表达式。

例如,这个共享的用户配置表达式可将活动消息批量转换为UCG模块请求:

code
$merge(
  $map(
    $keys($filteredInputPayload),
    function($trackingId) { (
      $message := $lookup($filteredInputPayload, $trackingId);
      {
        $trackingId: {
          "input": {
            "userIdentifier": {
              "id": $string($message.userId),
              "idType": "USER_ID"
            }
          },
          "config": $config.userProfileConfig,
          "metadata": {
            "campaignName": $campaignMetadata.campaignName,
            "environment": $config.environment
          }
        }
      } )
    }
  )
)

工作流通过我们的自定义 JSONata 引用方式引用了经过测试的表达式:

code
{
  "UserProfileModule": {
    "Type": "Component",
    "Extends": "user_profile_ucg_module",
    "Arguments": {
      "RequestBody": "{% @jsonata:mappings/profile_request %}"
    },
    "Assign": {
      "userProfileOutput": "{% $states.result.ResponseBody.outputs %}"
    }
  }
}

我们通过 @jsonata 引用的所有表达式测试用例都会在持续集成(CI)中通过 TestState API 运行,任何失败的用例都会阻断部署。通过这种方式,团队可以复用映射配置,降低因负载错误、运行时表达式错误或配置变更导致 Step Functions 内部失败的风险。

结论:可衡量的影响

新架构带来的最大影响是产品开发速度的提升。通过将重复的定制开发替换为可复用模块和配置驱动的工作流,Zillow 缩短了新产品和功能的开发周期,提升了自助服务能力,并减少了跨团队依赖。现在团队通过配置、共享模块和验证过的 JSONata 映射进行迭代,而不是为每个想法构建或修改专用生成器。

在原始系统中,测试新变体或启动活动意味着要修改专用的生成器服务,通常需要修改多个服务。现在团队只需编辑配置,复用其他团队已构建的模块,并在进入生产环境前验证工作流。

编排服务还降低了工作流引擎的构建和维护成本。Zillow 内部工程团队估算,构建成本从原本需要 32 人周的同类自研引擎,降低到了 9 人周。持续维护成本也从每周约 8 小时降至 2 小时。系统设计可扩展至从早期流量阶段到每天超过 1 亿个工作流的规模。

这项工作的大部分方法都可以被需要处理高流量、短生命周期工作流的团队复用:将每条消息描述为输入数据加配置、保持模块无状态且经过测试、确保每个步骤支持批量处理、并在流量增长前规划服务配额。Step Functions Express 让这些实践在 Zillow 的规模上得以实际应用。

要亲自尝试这种模式,请从 AWS Step Functions 开发者指南和标准与 Express 工作流选择指南开始。你也可以为你的代码代理安装 Agent Toolkit。关于本文中提到的直接服务调用,请参阅通过 HTTP Task 调用第三方 API。要像我们描述的那样验证 JSONata 表达式,请参阅 TestState API 参考。在规划流量增长前,请先查看 Step Functions 的服务配额。

作者简介

'"`