Databricks 在 SIGMOD 2026

![图片 3：Data+AI 峰会宣传图 6 月 15–18 日 | 旧金山加入全球规模最大的数据、应用与 AI 盛会。立即注册](https://www.databricks.com/dataaisummit?itm_source=www&itm_category=home&itm_page=home&itm_location=navigation&itm_component=navigation&itm_offer=dataaisummit)

活动 2026 年 5 月 29 日

Databricks 参加 SIGMOD 2026

作者：Indrajit Roy

摘要

了解 Databricks 如何通过 Spark 声明式流水线（SDP）引领下一代数据工程发展，简化复杂的 ETL 与流式处理工作负载。
深入了解 Enzyme——我们的增量视图维护引擎，该成果在 SIGMOD 大会上荣获“荣誉提名奖”。
与我们在大会现场的工程师面对面交流，探讨这些行业领先的创新技术。

Databricks 持续引领工程创新，在数据与 AI 领域不断突破技术边界。我们非常高兴地宣布，关于 Spark 声明式流水线（SDP）的研究成果将在 SIGMOD 2026 大会上展示，并已荣获大会颁发的荣誉提名奖。我们将于今年 6 月 1–5 日以白金赞助商身份出席SIGMOD 大会。本届大会将在印度班加罗尔举行，而班加罗尔也是 Databricks 在印度的重要研发枢纽之一——Databricks 已宣布未来三年将在印度投资超 2.5 亿美元。

我们即将发表的两篇关于数据工程的论文展示了 Databricks 如何为客户简化增量处理流程。在 Spark 声明式流水线（SDP）中，用户可通过两种方式编写增量程序，并可在同一管道中灵活组合使用：

数据工程师可以为转换操作指定物化视图（Materialized Views）。Enzyme 引擎会在新数据到达时增量式地维护这些视图。所有增量处理的复杂性对物化视图的创建者完全透明。SIGMOD 2026 论文《Enzyme: Incremental View Maintenance for Data Engineering》探讨了其中部分理念。
熟悉流处理的数据工程师则可改用 SDP 的流处理引擎进行增量数据处理。流处理 API 提供了丰富多样的构建模块——从有状态算子到水位线（watermarks），使得表达复杂的业务逻辑（例如自定义聚合）变得轻而易举。我们流处理产品中的核心思想将体现在 VLDB 2026 论文《A Decade of Apache Spark Structured Streaming: How We Evolved the Architecture To Meet Real-world Needs》中。

以下是对 Enzyme 论文及其团队工作内容的抢先预览：

Enzyme 亮相 SIGMOD 2026

增量视图维护

假设你是一家公司的分析师，希望分析某地区售出订单的总数。下方的物化视图即可提供答案：

sql

CREATE MATERIALIZED VIEW order_report AS
SELECT region, SUM(orders)
FROM customer_and_order_table
GROUP BY region;

当新增订单时，你自然期望该物化视图保持最新状态。这种数据维护本质上即为“增量视图维护”问题。尽管维持上述简单示例的物化视图更新看似容易，但试想一下：若该物化视图需跨多个表进行连接、包含窗口函数，或调用大语言模型（LLM）函数，其复杂度将急剧上升。

Enzyme 的创新点

物化视图（MV）广泛用于查询加速——提升数据仓库中仪表板的响应速度。在构建 Spark 声明式流水线（Spark Declarative Pipelines）时，我们决定超越查询加速范畴，将物化视图应用于提取-转换-加载（ETL）场景。我们的核心观察是：若能高效且增量式地维护物化视图，将极大简化 ETL 工作负载，避免编写大量复杂的定制代码。

Enzyme 在增量维护物化视图这一丰富研究领域基础上进一步拓展，并展示了如何将相关技术规模化应用于生产级工作负载。团队所实现的部分关键创新包括：

支持广泛的 MV 模式：Enzyme 可在生产环境中增量维护复杂的物化视图，包括涉及连接（joins）、窗口函数、聚合操作及其组合的视图。与其他行业方案不同，Enzyme 还支持非确定性函数（如 current_date()）及面向 AI 的特定函数。
多语言支持：多数行业方案仅聚焦于 SQL，而 Enzyme 同时支持以 Python 定义的物化视图。Python 当前已成为绝大多数数据工程与 AI 工作负载的首选语言。Enzyme 解决了多语言支持带来的诸多挑战，例如精准检测物化视图定义的变更。
性能优化：Enzyme 实现了多项优化措施，以减少需处理的数据量。例如，自动判断更新应作用于分区粒度而非行粒度，从而降低重写开销；选择性缓存中间结果以降低 I/O 成本；并采用基于执行计划信息与历史执行记录的成本模型，动态选择最优的增量化策略。

图 4：图 1：Enzyme 性能显著优于另一竞争性行业方案（因许可限制，名称匿名化为 CV-IVM）。

展开图 1：Enzyme 性能显著优于另一竞争性行业方案（因许可限制，名称匿名化为 CV-IVM）。

想了解更多？请查阅论文，若您出席 SIGMOD 会议，欢迎参加我们的报告获取更多细节。

SIGMOD 期间与团队见面：

欢迎莅临我们的展位，与团队面对面交流，深入了解 Databricks 正在推进的创新成果。此外，切勿错过 Ritwik Yadav 在 SIGMOD 上的精彩演讲！

获取最新博文推送

订阅我们的博客，第一时间将最新文章送达您的收件箱。

立即注册

*

工作邮箱

*

国家国家*

点击“订阅”即表示我理解将接收 Databricks 发送的通讯信息，并同意 Databricks 按照其隐私政策处理我的个人数据。

查看全部博客

为何选择 Databricks？

探索

客户

客户案例

合作伙伴

为何选择 Databricks？

探索

客户

客户案例

合作伙伴

产品

Databricks 平台

定价

开源项目

集成与数据

产品

Databricks 平台

定价

开源项目

集成与数据

解决方案

Databricks 行业解决方案

跨行业解决方案

数据迁移

专业服务

解决方案加速器

解决方案

Databricks 行业解决方案

跨行业解决方案

数据迁移

专业服务

解决方案加速器

资源

文档

客户支持

社区

学习

活动

博客与播客

资源

文档

客户支持

社区

学习

活动

博客与播客

关于

公司

职业发展

新闻

安全与信任

关于

公司

职业发展

新闻

安全与信任

Databricks 公司

160 Spear Street, 15th Floor 旧金山，加利福尼亚州 94105 电话：1-866-330-0121

[](https://www.linkedin.com/company/databricks)
[](https://www.facebook.com/pages/Databricks/560203607379694)
[](https://twitter.com/databricks)
[](https://www.databricks.com/feed)
[](https://www.glassdoor.com/Overview/Working-at-Databricks-EI_IE954734.11,21.htm)
[](https://www.youtube.com/@Databricks)

查看职业机会

加入 Databricks

[](https://www.linkedin.com/company/databricks)
[](https://www.facebook.com/pages/Databricks/560203607379694)
[](https://twitter.com/databricks)
[](https://www.databricks.com/feed)
[](https://www.glassdoor.com/Overview/Working-at-Databricks-EI_IE954734.11,21.htm)
[](https://www.youtube.com/@Databricks)

我们重视您的隐私

Databricks 使用 Cookie 及类似技术来增强网站导航、分析网站使用情况、个性化内容与广告，具体说明请参阅我们的 Cookie 告知声明。如需禁用非必要 Cookie，请点击“全部拒绝”。您也可通过点击“管理偏好设置”来自定义 Cookie 设置。

管理偏好设置

全部拒绝　全部接受

隐私偏好中心

已遵从退出偏好信号

隐私偏好中心

### 您的隐私
### 必要型 Cookie
### 性能型 Cookie
### 功能型 Cookie
### 定向型 Cookie
### TOTHR

#### 您的隐私

当您访问任一网站时，该网站可能在您的浏览器中存储或检索信息（通常以 Cookie 形式）。此类信息可能涉及您本人、您的偏好或您的设备，主要用于确保网站按预期正常运行。这些信息通常不会直接识别您的身份，但可为您提供更个性化的网络体验。出于对您隐私权的尊重，您可以选择不允许某些类型的 Cookie。请点击不同类别的标题以了解更多详情并修改默认设置。不过，请注意，阻止某些类型的 Cookie 可能会影响您对网站及我们所提供服务的使用体验。

#### 退出销售、共享及定向广告

根据您所在地区，您可能有权选择退出个人数据的“出售”或“共享”，以及为在线“定向广告”目的而处理您的个人信息。您可通过在此处禁用可选 Cookie，基于 Cookie 及类似标识符进行退出操作；若需基于其他标识符（例如您的电子邮箱地址）退出，请提交请求至我们的隐私请求中心。

更多信息

#### 必要型 Cookie

始终启用

这些 Cookie 对网站正常运行至关重要，无法在我们的系统中关闭。它们支持网站核心功能，例如设置您的隐私偏好、登录或填写表单。您可设置浏览器以阻止或提醒您有关此类 Cookie 的使用，但网站的部分功能将无法正常使用。

#### 性能型 Cookie

[x] 性能型 Cookie

此类 Cookie 使我们能够统计访问量与流量来源，从而衡量并改进网站性能。它们有助于我们了解哪些页面最受欢迎或最不受欢迎，并观察访客在网站内的浏览路径。

#### 功能型 Cookie

[x] 功能型 Cookie

此类 Cookie 使网站能够提供增强的功能与个性化体验。它们可能由我们自身或我们页面中集成的第三方服务提供商设置。若您不允许此类 Cookie，则部分或全部相关服务可能无法正常运作。

#### 定向型 Cookie

[x] 定向型 Cookie

此类 Cookie 可能由我们的广告合作伙伴通过本网站设置。这些公司可能利用其构建您的兴趣画像，并在其他网站向您展示相关广告。若您不允许此类 Cookie，您所看到的广告将较少具备针对性。

#### TOTHR

[x] TOTHR

Cookie 列表

同意　合法利益

[x] 复选框标签标签

[x] 复选框标签标签

[x] 复选框标签标签

清除

- [x] 复选框标签标签

应用　取消

确认我的选择

全部允许