Declare and optimize with UNIQUE constraints on Databricks
TL;DR · AI 摘要
Databricks通过UNIQUE约束和RELY优化,实现查询性能提升12倍。
核心要点
- UNIQUE约束支持多列组合和可空字段的唯一性声明
- RELY标记可使查询优化器消除99.99%的shuffle操作
- TPC-DS基准测试显示查询速度最高提升12倍
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Databricks UNIQUE约束优化
- 核心特性
- 多约束声明
- 可空字段支持
- 优化机制
- RELY标记
- 查询计划优化
- 性能表现
- 99.99% shuffle减少
- 12倍查询加速
金句 / Highlights
值得收藏与分享的关键句。
在10 TB TPC-DS基准测试中,UNIQUE与RELY组合减少了超过99.99%的shuffle操作。
UNIQUE约束允许声明多个可空字段的唯一性保证,突破PRIMARY KEY的限制。
RELY标记使查询优化器能够安全消除冗余的JOIN和DISTINCT聚合操作。
在Databricks上使用UNIQUE约束进行声明和优化 | Databricks博客
跳至主要内容
工程
2026年11月3日
在Databricks上使用UNIQUE约束进行声明和优化
通过声明多个唯一键、从外键引用它们,并使用RELY优化连接和DISTINCT查询
作者:Yan Yan、Yuchuan Huang、Xinyi Yu和Gengliang Wang
摘要
- Databricks的UNIQUE约束使团队能够声明超出表单个PRIMARY KEY之外的多个可为空或复合唯一性保证,并通过外键进行引用。
- 在使用RELY之前验证并持续维护这些信息性约束,RELY使优化器能够消除冗余连接和DISTINCT聚合。
- 在10 TB TPC-DS基准测试中,UNIQUE与RELY组合消除了超过99.99%的洗牌操作,并使查询速度提升高达12倍。
数据团队通常在他们的数据管道中维护唯一性保证,但由于缺乏在表模式中灵活表示所有唯一性保证的方式,用户和工具无法发现这些保证,查询优化器也无法安全利用它们。业务实体通常有多个已知唯一的值或值组合:例如用户表可能使用user_id作为主行标识符,但其数据模型还记录了username、电子邮件地址以及(workspace_id, external_user_id)的单独唯一性保证。
Databricks目前已支持PRIMARY KEY和FOREIGN KEY约束:主键标识表的行,外键可以引用它来描述关系。然而,一张表只能有一个主键,且其列必须为非空。现在在Databricks SQL和Databricks Runtime 18.2及更高版本的Unity Catalog Delta表中,UNIQUE约束(公开预览版)提供了一种记录其他唯一性保证的方式。表可以声明多个UNIQUE约束,其列可以为空,外键可以引用它们。在验证这些约束并标记为RELY后,查询优化器还可以使用它们来消除不必要的连接和聚合。
当一个主键无法覆盖所有唯一列时
PRIMARY KEY和UNIQUE都记录唯一性,但它们在模式中扮演不同的角色:
功能
PRIMARY KEYUNIQUE模式角色
主行标识符
附加唯一性保证
每表约束数量
一个
多个
可为空列
否
是
将管道的唯一性保证纳入模式
下表包含一个主键和两个UNIQUE约束:
$
/$
这两个唯一性约束展示了不同类型的唯一性。users_external_uq适用于列组合:每个(workspace_id, external_user_id)对都必须唯一,即使单个值可能出现在其他对中。users_optional_id_uq适用于可为空列。以下行展示了哪些值满足该保证:
user_idoptional_identifier满足
UNIQUE (optional_identifier)?
1
email:[email protected]2
NULL3
4
email:[email protected]5
- 与第1行重复
这种分离使得模式可以记录由摄入流水线、上游系统或其他数据质量流程维护的唯一性保证。该保证也变为表元数据,用户、工具和应用程序可以对其进行检查。
从外键引用 UNIQUE 约束
外键除了可以引用主键外,还可以引用 UNIQUE 约束。例如,上述声明的复合 UNIQUE 约束可以按如下方式引用:
被引用的父表列标识外键目标的唯一约束。子表和父表列按位置对应:workspace_id 映射到 workspace_id,source_user_id 映射到 external_user_id。它们的名称不需要匹配,但类型和位置必须对应。REFERENCES (parent) 列必须按照 UNIQUE 约束定义中的列顺序列出;否则约束仍然有效但连接消除将静默失效。
要引用单列 UNIQUE 约束时,需显式指定其父列,例如:REFERENCES users (username)。如果省略父列列表,REFERENCES users 将默认指向表的主键。
使用 RELY 优化查询
默认情况下,唯一约束会以 NORELY 状态创建。它记录了预期的模式语义,但 Databricks 不会将其用于依赖正确性的查询重写。以下语句创建了一个使用此默认值的约束:
在您验证数据并确保流水线将继续维护该保证后,可以删除并重新创建带有 RELY 的约束:
在此示例中,CASCADE 还会删除引用 users_username_uq 的任何外键,且在唯一约束重新添加后必须重新创建这些外键。如果没有 CASCADE,DROP CONSTRAINT 会使用默认的 RESTRICT 行为,当存在依赖的外键时会被拒绝。
引用唯一约束的外键也可以声明为 RELY:
RELY 是针对每个约束独立设置的。它不会验证现有数据或对外部写入强制约束。它允许 Databricks 在优化查询时假设约束有效。如果数据违反了被依赖的约束,基于该约束的重写可能会产生错误结果。因此,您应仅对经过验证并持续维护的保证使用 RELY。
使用 RELY 后,唯一约束可以提供适用于符合条件的连接和聚合重写的必要信息。符合条件还取决于查询所需的其他保证,包括可空性,如下例所示。此优化支持在启用 Photon 计算时可用。主键和外键博客描述了基于约束的连接和聚合优化,UNIQUE 约束也可以启用此类优化。自从该博文发布以来,RELY 支持已扩展到外键,现在也支持 UNIQUE 约束。
使用 UNIQUE 和外键约束消除连接
基于相同数据构建的一些仪表板需要来自 users 表的属性,因此团队通常会创建一个始终将 user_events 与 users 连接的共享视图。即使某个仪表板只需要 user_events 中的信息,仍可能继承视图中的连接。因此其生成的 SQL 可能看起来像下面的查询,即使它没有从 users 表中选择任何列:
虽然该查询未从 users 表中返回任何列,但优化器通常无法移除连接操作。内连接可能会在没有匹配用户时删除事件,或在多个用户拥有相同用户名时产生重复数据。
所依赖的约束排除了这两种可能性。UNIQUE 约束保证最多只有一个匹配用户,而外键约束保证匹配一定存在。由于 user_events.username 字段也是 NOT NULL,每个事件都恰好对应一个匹配项。因此连接操作不会改变结果,优化器可以直接从 user_events 表读取 event_id。
先前关于主键和外键的博客文章演示了相关的左外连接案例,该案例只需最多一个匹配项的保证。这个内连接示例同样需要外键约束来确认匹配项的存在。
使用 NORELY 约束时,优化后的执行计划仍保留连接操作:
当两个约束都使用 RELY 时,优化器可以确定每个事件都恰好对应一个匹配用户,从而移除连接操作:
在此示例中,user_events.username 字段为 NOT NULL,但该优化同样适用于可为空的情况:Databricks 会移除连接操作,并在 user_events.username 上添加 IS NOT NULL 过滤条件,以保持内连接对空值的处理方式。
我们在 TPC-DS SF10000 数据集上对这项优化进行了基准测试,该数据集代表 10TB 规模。在 288 亿行的 store_sales 表与 6500 万行的 customer 表连接时,我们将 customer.c_customer_sk 声明为 UNIQUE,并从 store_sales.ss_customer_sk 定义外键。当两个约束都使用 RELY 时,Databricks 移除了连接操作,减少了超过 99.99% 的数据混洗,并将中位数引擎执行时间从 23.6 秒缩短至 3.0 秒——提升了 7.9 倍。
当值本身已唯一时跳过 DISTINCT
BI 工具和查询构建器通常会防御性地添加 DISTINCT,因为连接操作可能会生成重复行。当所选值本身已唯一时,DISTINCT 不会删除任何内容,但除非优化器能证明该操作不必要,否则仍可能需要聚合和混洗。所依赖的 UNIQUE 约束可以提供这种证明。
考虑一个包含以下两个约束的 user_identifiers 表:
- UNIQUE (user_id) RELY,其中 user_id 为 NOT NULL
- UNIQUE (optional_identifier) RELY,其中 optional_identifier 可为空
该表包含以下数据,满足所有约束条件:
对于 user_id,优化器可以结合唯一性和非空保证:
优化后的执行计划中没有聚合操作:
由于所依赖的约束已确认每个 user_id 都是唯一的,因此聚合操作被移除了。
对 optional_identifier 的等效查询展示了为什么优化器还需要考虑空值:
优化后的执行计划保留了聚合操作:
虽然两个约束都使用了 RELY,但可为空的约束允许上述两个 NULL 行存在。SQL DISTINCT 必须将这些行合并为一行,因此聚合操作仍然是必要的。
当查询提供了缺失的非空保证时,可为空的 UNIQUE 约束仍可启用优化:
优化器可以移除聚合操作:
过滤条件去除了可能在可为空的 UNIQUE 语义下重复的值。剩余值保证唯一,因此 Databricks 可以再次避免聚合操作。
我们使用相同的TPC-DS SF10000数据集对这一优化进行了基准测试,该数据集代表10TB规模因子。在包含288亿行的store_sales表上,我们将(ss_item_sk, ss_ticket_number)声明为复合UNIQUE约束,并对这些列执行DISTINCT查询。通过使用RELY,Databricks消除了DISTINCT聚合操作,减少了超过99.99%的数据洗牌操作,将中位数引擎执行时间从33.7秒缩短至2.8秒,速度提升了12倍。
在优化器使用约束前验证数据
查找重复和孤立行
在使用RELY之前,请确认数据满足约束保证。对于可为空的UNIQUE约束,需排除包含NULL值的行,因为UNIQUE约束允许这些行重复。以下查询可查找重复的非空标识符:
对于复合UNIQUE约束,按所有受约束列进行分组,并为每个可为空列添加IS NOT NULL条件。你也可以通过左反连接查找没有匹配父项的子行:
这些检查验证当前数据的有效性。启用RELY后,你的数据摄入或数据质量流程必须持续维护这些保证。
确认声明的约束
声明或重新创建约束后,可通过以下方式确认其定义:
- SHOW CREATE TABLE
- DESCRIBE TABLE EXTENDED
- Unity Catalog INFORMATION_SCHEMA关系:TABLE_CONSTRAINTS KEY_COLUMN_USAGE CONSTRAINT_TABLE_USAGE CONSTRAINT_COLUMN_USAGE REFERENTIAL_CONSTRAINTS
有关完整创建、修改、检查和删除语法,请参阅Databricks的约束文档和CONSTRAINT子句。
逐步推出UNIQUE和RELY
你可以逐步采用UNIQUE约束:
- 使用默认的NORELY声明现有唯一性保证。
- 在外键引用中使用唯一键,当关系属于模式的一部分时。
- 在数据管道中验证并持续维护唯一性和引用完整性。
- 在验证唯一性后,仅在外键上使用RELY,且在确认每个适用的子值都有匹配的父行后,才在外键上使用RELY。
- 使用EXPLAIN比较计划,确认可重写操作。
结论
UNIQUE约束允许表除了单个非空PRIMARY KEY外,记录多个唯一性保证,且受约束列可以为空。外键既可以引用UNIQUE约束,也可以引用主键。UNIQUE约束默认为信息性约束;在验证后,RELY使Databricks能够利用它们优化符合条件的连接和DISTINCT查询。
相关标签:
数据仓库
在邮箱中获取最新文章
订阅我们的博客,获取最新文章发送到你的邮箱。
注册
查看所有博客
slice-start id="_gatsby-scripts-1"
slice-end id="_gatsby-scripts-1"