Databricks

Introducing Apache Spark® 4.3 - Now available in Databricks Runtime 19

8.5内容质量

TL;DR · AI 摘要

Apache Spark 4.3 引入了状态化实时处理和SCD Type 2自动CDC,显著提升实时应用性能。

核心要点

  • Real-Time Mode实现低于150ms的P99端到端延迟,支持流式聚合和去重
  • Project Feather减少小数据查询执行开销,提升开发迭代速度
  • Spark Connect改进支持更高效的应用程序连接和远程执行

结构提纲

按章节快速跳转。

  1. 介绍Spark 4.3核心改进:状态化实时处理和历史保留功能

  2. 通过流式聚合和自定义状态处理实现亚150ms延迟

  3. ·SCD Type 2 Auto CDC

    支持Python/SQL自动捕获数据变更历史

  4. Project Feather减少小数据查询开销,Arrow缓存提升数据复用效率

  5. Spark Connect可观测性增强和JDBC集成优化

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Apache Spark 4.3核心改进
    • 状态化实时处理
      • Real-Time Mode
      • 流式聚合/去重
      • 亚150ms P99延迟
    • 历史保留功能
      • SCD Type 2 Auto CDC
      • Python/SQL支持
      • 减少自定义逻辑
    • 性能优化
      • Project Feather
      • Arrow缓存优化
      • 小数据查询加速

金句 / Highlights

值得收藏与分享的关键句。

#Apache Spark#大数据#实时处理#Databricks
打开原文

介绍 Apache Spark® 4.3 - 现已包含在 Databricks Runtime 19 中 | Databricks 博客

跳至主要内容

工程

2026年11月5日

介绍 Apache Spark® 4.3 - 现已包含在 Databricks Runtime 19 中

有状态的实时处理、保留历史的流水线以及更快速的小数据开发

作者:Jungtaek Lim、Wenchen Fan、Andreas Neumann、Serge Rielau、Hyukjin Kwon、Jerry Peng、DB Tsai、Daniel Tenedorio、Xiao Li 和 Reynold Xin

摘要

  • 为实时模式引入状态处理:实时模式新增流式聚合、去重和自定义有状态处理功能,通过熟悉的结构化流 API,在三个代表性基准测试中实现低于 150 毫秒的 P99 端到端延迟。
  • 通过 SCD Type 2 自动 CDC 保留历史记录:通过 Python、SQL 和 Spark Connect 跟踪记录随时间的变化,简化用于报告、审计和历史分析的保留历史流水线开发。
  • 通过更丰富的 API 更快速迭代开发:Project Feather 减少符合条件的小数据查询的执行开销,而 Spark Connect、Python 和 SQL 的改进使数据和 AI 应用更易于开发、调试和运维。

介绍

Apache Spark 4.3 将有状态处理引入实时模式,在三个代表性有状态基准测试中实现了低于 150 毫秒的 P99 端到端延迟。流式聚合、去重和自定义有状态处理现在可以在结构化流的低延迟执行模式下运行,将其扩展到需要跨事件记住上下文的应用场景。

影响不仅限于更快的流水线。对于支持的工作负载,您不再需要单独的流式引擎来实现毫秒级延迟。从欺诈检测到持续更新的用户活动和设备监控,开发者可以使用熟悉的结构化流 API 在相同的开源引擎中构建有状态应用,该引擎也用于批处理、分析和 AI。

有状态的实时流处理是 Spark 4.3 的亮点,但改进范围覆盖整个引擎。此次发布带来了五大关键优势:

  • 构建有状态的实时应用:在实时模式中使用流式聚合、去重和 transformWithState,随着事件到达保持上下文。
  • 通过 SCD Type 2 自动 CDC 保留历史记录:使用 Python、SQL 和 Spark Connect 跟踪记录随时间的变化,减少自定义变更处理逻辑。
  • 更快速处理小数据:Project Feather 针对不必要的执行开销进行优化,而 Arrow 原生缓存支持更高效的数据重用。
  • 将更多应用连接到 Spark:Spark Connect 可观测性、JDBC 集成和 Python 的改进使远程执行更易于开发和运维。
  • 在 SQL 中直接表达更丰富的分析:VARIANT 转换、JSON_TABLE、时间连接和纳秒级时间戳预览扩展了对嵌套和时间相关数据的原生处理能力。

这些改进帮助开发者使用一个开源引擎探索数据、维护变化的上下文,并驱动分析和 AI 应用。

Spark 4.3 还标志着季度特性发布周期的开始,从每六个月一次发布改为每三个月一次发布。这种更短的周期能更快将完成的改进交付给用户,并为社区提供更多频繁反馈和塑造未来功能的机会。

实时流处理:具有毫秒级延迟的有状态应用

从处理事件到维护上下文

欺诈信号不仅依赖于最新交易,还依赖于之前的活动。个性化需要反映用户的近期行为。设备监控需要在新数据到达时更新计数器和聚合值。这些应用需要同时具备低延迟和状态管理能力。

Spark 4.3 将实时模式扩展到这些有状态处理模式,使其成为一个完整的流处理引擎。它新增了对流式聚合、dropDuplicates 和 Scala/Java transformWithState 的支持(SPARK-58635, SPARK-57228)。开发者可以使用 Structured Streaming 现有的编程模型维护键控状态并更新结果,而无需为了更低延迟单独采用其他引擎。

三种有状态基准测试的 P99 延迟低于 150 毫秒

在 SPARK-58884 报告的基准测试中,三种代表性有状态工作负载的 P99 端到端延迟均低于 150 毫秒:

| 有状态工作负载 | P99 端到端延迟 | |----------------|----------------| | dropDuplicates | 136 ms | | 窗口聚合 | 139 ms | | transformWithState | 141 ms |

这些结果展示了去重、窗口聚合和自定义有状态处理的低延迟执行能力。这些是三个测试工作负载的测量结果,而非对每个流水线的延迟保证。

熟悉的 API,低延迟执行

实时模式基于 Structured Streaming 构建,而非引入独立的编程模型。有状态操作符继续使用 Spark 现有的状态存储和检查点机制来保证持久性和恢复能力。

示例:为每个设备维护运行计数。给定一个基于 Kafka 的流式 DataFrame 事件,其中包含 device_id 列:

code
events
  .withColumn("count", expr("count(1) over (partition by device_id)"))

如果设备 A、A 和 B 的事件到达,Spark 会维护状态并将计数更新为 A=2 和 B=1。当另一个 A 事件到达时,其状态会更新为 A=3。

为连续数据流构建的执行引擎

支持有状态实时模式需要对 Spark 调度和连接阶段的方式进行根本性改变。传统阻塞式洗牌要求生产阶段完成之后下游阶段才能开始。这种模式无法支持长期运行的流任务之间的连续数据流。

Spark 4.3 引入了原生并发阶段调度和流水线式洗牌,允许生产阶段和消费阶段同时运行(SPARK-54699, SPARK-58076, SPARK-56664)。流式洗牌为实时模式实现了这一能力,将记录按每个键逐步传输给下游任务,而无需等待整个生产阶段完成。

概念上,执行方式从:

生产阶段 → 生成洗牌 → 消费阶段

转变为:

生产阶段 ⇄ 流式洗牌 ⇄ 消费阶段

Spark 4.3 新增了 PipelinedShuffleDependency,这是一种新型的洗牌依赖关系,允许消费者在生产者仍在运行时开始读取(SPARK-58185)。调度器将这些依赖关系连接的阶段视为流水线组,这是一个协调的调度单元。其阶段会一起调度,一个阶段的故障会导致整个组失败(SPARK-58263, SPARK-58398)。简而言之,它们一起运行,一起失败。

由于流水线组中的所有阶段都并发运行,Spark 仅在有足够的任务槽位容纳所有任务时才会接受该组。否则,它会快速失败而不是挂起。

Spark 根据其依赖类型将每个洗牌路由到相应的洗牌管理器:

  • 常规的 ShuffleDependency 使用阻塞式洗牌管理器,在下游阶段读取之前会先生成所有洗牌输出。SortShuffleManager 是内置实现。
  • PipelinedShuffleDependency 使用流水线式洗牌管理器,可在输出生成时立即提供数据。StreamingShuffleManager 是内置实现(SPARK-57141)。

依赖类型定义了执行契约;洗牌管理器提供数据传输机制。调度器可以协调流水线阶段的执行,而无需了解创建这些阶段的工作负载类型。

这一基础不仅适用于实时模式。并发阶段调度、流水线数据交换和协调执行是 Spark 引擎的通用能力,而非仅限于流处理的基础设施。在 Spark 4.3 中,这些能力实现了低延迟的状态处理。从长期来看,它们为需要突破传统逐阶段执行模型的其他工作负载提供了基础。

关于实时模式的设计和应用场景的背景信息,请参阅实时模式简介。该文章描述了 Databricks 的实现;此处讨论的 Spark 4.3 功能范围和基准测试结果即为上述内容。

Project Feather:更快的小数据迭代处理

基于大语言模型的开发通常遵循短反馈循环:生成一个转换,运行在样本数据上,检查结果,然后优化代码。每次迭代可能仅处理一个小文件或几行数据,但任务调度和洗牌操作的成本可能超过计算本身。

Project Feather 针对这种固定的执行开销,使 Spark 在探索和验证小数据集上的 SQL 和 DataFrame 代码时更加响应迅速。开发人员在从样本数据过渡到更大规模工作负载时,可以使用相同的 API,无论是自行编写代码还是与 AI 助手协作。

Spark 4.3 引入了可选的、无需洗牌的单任务执行机制,适用于符合条件的小规模单分区查询片段(SPARK-57851)。当符合条件的扫描报告其输出已处于单个分区时,支持的下游操作可以避免不必要的洗牌。

示例:运行并检查一个小规模聚合操作。使用存储为单个文件的小型 Parquet 数据集,其中包含一个分类列:

六个案例:

category, Exchange, SPARK_LOCAL_CONNECT_REUSE=1, zip, counter_diff 和 jaro_winkler_similarity。

结果是每个分类一个计数。对于符合条件的查询,物理执行计划可以省略原本会导致洗牌的 Exchange 操作。无论转换是由开发人员编写还是由代码助手建议,这种机制都支持相同的运行-检查工作流。

在默认的资格限制下,符合条件的文件扫描会读取一个非空的小文件,该文件大小可容纳在单个分区中,而符合条件的本地内存关系最多包含 1,000 行。支持的查询类型包括选择扫描、聚合、去重操作、窗口函数、排序和限制操作。

Feather 还新增了可选的 Arrow 原生数据集缓存(SPARK-57268),通过压缩和列统计信息将缓存批次以 Arrow 格式存储。基于 Arrow 的输入可以避免不必要的转换,支持重复探索相同数据的工作流。单任务优化和 Arrow 缓存均为可选功能。要启用该功能,启动新的 Spark 应用时设置静态配置 spark.sql.cache.serializer=org.apache.spark.sql.execution.columnar.ArrowCachedBatchSerializer。更广泛的本地进程内重新分区功能是后续工作,计划在下一个版本中发布(SPARK-57399)。

这些改进只是开始。Spark 社区将在未来版本中继续投入资源优化小数据性能,降低执行开销并缩短交互式探索和大语言模型辅助开发的反馈循环。

开源自动变更捕获中的 SCD 类型 2:数据变化时保留历史记录

当前状态表可以告诉你客户今天住在哪里,但无法说明订单生成时客户所属的地区。报表、审计和历史分析通常需要两者兼具。Spark 4.3 为自动变更捕获(Auto CDC)新增端到端的缓慢变化维度(SCD)类型 2 支持(SPARK-56249),使数据管道能够跟踪每条记录的历史,而非每次变更时覆盖最新值。该功能通过 Python、SQL 和 Spark Connect(SPARK-58321、SPARK-58247、SPARK-58261)提供,允许用户自动应用变更,而非手动合并操作。

示例:跟踪客户状态和地区的随时间变化。假设有一个 customer_changes 管道源,包含客户 ID、事件时间、状态和地区:

或者可以使用 SQL 表达:

在 SCD-2 输出表中,每个唯一键由一系列记录表示,每条记录使用两个额外的元数据列 __START_AT 和 __END_AT 标记其有效性的开始和结束时间。例如,当变更记录显示 ID 为 17 的客户从西区迁往东区时,管道会保留包含先前西区记录的条目,并将其结束时间标记为变更记录的事件时间;同时插入一条包含东区的新记录,其事件时间作为该记录的开始时间。分析时可以使用事件时间序列中相关时间点对应的地区信息。

底层实现上,Auto CDC 将声明式流程定义连接到目标模式推导和专用的 SCD 类型 2 流处理(SPARK-58319、SPARK-57395、SPARK-58321)。键标识实体,序列化确定变更顺序,历史追踪列指定哪些属性变更会生成历史版本。引擎还会验证保留列、序列化类型和历史追踪配置(SPARK-57251、SPARK-58313、SPARK-58391),并协调较窄的微批次与演进后的目标模式(SPARK-58418)。

Auto CDC 使用 MERGE 操作将每个微批次应用到目标表,因此目标表必须位于实现 Data Source V2 行级操作的目录连接器中。Spark 内置的文件格式(包括 Parquet)不符合要求。因此,常见选择是 Iceberg。

Spark Connect:更易于开发、观察和运维

PySpark:更丰富的API和更好的Python执行

Python工作流通常通过分步构建派生列、合并结果并在pandas、Arrow和Spark之间传输数据来实现。Spark 4.3通过DataFrame API使更多此类工作可用,同时改进了底层的执行路径。DataFrame.zip提供了一种在不降级到RDD API的情况下合并兼容列投影的方法,包括在使用Spark Connect时(SPARK-55886, SPARK-57247)。

示例:将标识符与派生值结合。从相同输入创建两个投影并合并它们的列:

结果将id=1与doubled=20配对,id=2与doubled=40配对。zip会合并相同底层计划的投影-only转换;投影下方的过滤、排序、连接或聚合操作在两侧必须完全一致以保持行对齐。

更广泛的执行优化针对数据传输、批处理和原生计算。基于Pickle的UDF输入批次现在可以通过字节限制而非仅行数进行控制,在行大小不一致时提供更好的控制(SPARK-57593)。批处理的pandas-on-Spark投影和额外的原生NumPy实现减少了不必要的计算(SPARK-58230, SPARK-58234),而pandas到Spark的转换新增了对PyArrow ChunkedArray列的支持(SPARK-46776)。

该版本还新增了 Python 和 Scala 绑定以支持现有向量函数 (SPARK-57284),新增了分组协方差和描述性统计功能 (SPARK-40336, SPARK-40337),新增了滚动和扩展中位数及标准误差操作 (SPARK-40341, SPARK-40340),以及新增了 show_versions 诊断功能 (SPARK-40373)。回溯局部变量需要显式启用,因为它们可能包含敏感数据 (SPARK-57271)。

Spark SQL:为分析和 AI 提供更完善的上下文

事件负载以嵌套文档形式到达,且紧密间隔的事件可能需要比微秒更精确的时间粒度。准备这些输入不应需要为每个转换都单独设置一个自定义处理层。Spark 4.3 扩展了对半结构化数据和时序分析的原生 SQL 支持,包括文档操作、时序匹配以及可选启用的纳秒级时间戳预览功能 (SPARK-56822)。

示例:区分同一微秒内的两个事件。启用预览功能(该功能尚未稳定,可能包含破坏性变更)并比较相差 1 纳秒的时间戳 (SPARK-56969, SPARK-56965, SPARK-57211):

该比较结果为 true:最终位被保留而非舍弃。预览功能支持 TIMESTAMP_NTZ(p) 和 TIMESTAMP_LTZ(p) 类型,精度范围为 7 到 9。

这不仅需要接受新的 SQL 类型名称。纳秒级支持贯穿解析、内部值表示、类型转换、表达式、Spark Connect、缓存和数据源集成 (SPARK-56822)。新增的 timestamp_nanos 和 unix_nanos 函数处理数值转换 (SPARK-57526, SPARK-57527)。存储和连接器支持仍取决于每条数据路径,因此预览功能必须端到端验证。

将动态 JSON 负载转化为可用数据

应用事件、文档导出和模型响应通常以嵌套 JSON 形式到达。Spark 4.3 的 JSON_TABLE (SPARK-58366) 结合了数组展开和类型化字段提取,而 VARIANT 转换允许流水线在不使用自定义文档处理 UDF 的情况下更新或删除字段 (SPARK-57804, SPARK-57417)。二者结合简化了为分析、富化和检索流水线准备内容的过程。

示例:提取相关文档片段。

这会生成一个类型化行,流水线可以在后续操作前用源元数据对其进行富化。JSON_TABLE 通过共享遍历每行项的路径解析列路径,避免为每个列单独解析。另外,Spark 将 VARIANT 字段提取下推扩展到支持聚合、排序或连接的查询中。(SPARK-58089)

后续的 SQL/JSON 工作 (SPARK-58686) 通过 JSON_VALUE、JSON_EXISTS 和 JSON_QUERY 进一步扩展此方向,支持标量提取、存在性检查和片段检索 (SPARK-58685, SPARK-58687, SPARK-58723)。显式的缺失值和错误处理将帮助应用更可预测地处理动态模式。这些是后续开发成果,而非 4.3 的新增特性。

将事件匹配到事件发生时可用的信息

历史分析和模型评估需要事件发生时的上下文,而非后续添加的信息。Spark 4.3 的 SQL ASOF JOIN(预览功能,可能包含破坏性变更)直接表达这种时序匹配,取代手动编写范围连接后进行排序的复杂操作 (SPARK-58092)。

示例:重建预测时可用的特征。在此示例中,available_at 记录特征版本可用的时间 (SPARK-58122, SPARK-58123):

A prediction at 10:03 matches the feature version available at 10:00, not 10:05. A dedicated sort-merge execution path makes this matching an engine operation rather than application-specific query logic. The result is simpler point-in-time enrichment for training data, evaluations, and incident analysis, provided the availability timestamps accurately represent what was known then.

Notable Improvements and Acknowledgements

Spark 4.3 also introduces new APIs and performance improvements for everyday data processing. SQL gains ANSI UNNEST for expanding arrays into rows, along with the counter_diff window function for converting cumulative counters into deltas and jaro_winkler_similarity for string similarity comparisons. Supported file sources add opt-in support for reading tar, zip, and 7z archives, eliminating a separate extraction step. The engine improves aggregation execution and enables whole-stage code generation for eligible UNION operations by default. An opt-in optimization spreads null join keys across shuffle partitions in eligible outer and anti joins. Nested-data processing gains more pruning of unused fields inside arrays of structs and code generation for more array higher-order functions. Vectorized Parquet reads improve type conversion and dictionary decoding.

Spark 4.3 reflects the strength of the Apache Spark community, with more than 200 contributors helping address over 1,100 Jira tickets. We thank everyone who contributed code, reviews, testing, documentation, and feedback to make this release possible.

Get Started with Spark 4.3

Visit the Apache Spark downloads page for release downloads and documentation, and review the migration guides before upgrading. For Databricks availability, consult the Databricks Runtime release notes .

Related tags:

Open Source

Get the latest posts in your inbox

Subscribe to our blog and get the latest posts delivered to your inbox.

Sign up

View all blogs

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"