Unity Catalog 开放 API 增强跨平台互操作性

![图3：Data+AI峰会宣传图 6月15–18日｜旧金山加入全球规模最大的数据、应用与人工智能盛会。立即注册](https://www.databricks.com/dataaisummit?itm_source=www&itm_category=home&itm_page=home&itm_location=navigation&itm_component=navigation&itm_offer=dataaisummit)

平台｜2026年5月14日

Unity Catalog 开放 API 的互操作性进一步增强

支持从外部计算引擎创建、读取和写入托管 Delta 表。

作者：Alex Jiang 与 Tathagata Das

摘要

外部访问 Unity Catalog（UC）托管 Delta 表功能现已进入 Beta 阶段。Apache Spark、Flink 和 DuckDB 等外部引擎现已支持对托管 Delta 表执行创建、读取和写入操作。
UC 托管 Delta 表基于 Delta Lake 全新推出的“目录提交（catalog commits）”特性构建——这是一项开放标准，通过目录协调事务提交，从而实现安全的并发写入、完整操作审计以及多语句事务。
凭据分发（Credential vending）功能现已全面可用。数千家客户正借助该功能，安全地从外部引擎访问 UC 数据资产；现新增支持机器对机器（M2M）OAuth 认证，并为长期运行的数据管道提供自动凭据刷新能力。

Unity Catalog 自诞生之初便致力于构建开放的湖仓一体架构。过去，数据团队常被束缚于各自孤立的数据平台中，往往不得不将数据跨平台重复拷贝，只为使用心仪的工具。每引入一个新平台或新工具，就意味着要复制数据集、从零重建访问策略，并持续维护各系统间的一致性。其结果是：存储冗余推高成本、访问策略逐渐脱节、数据访问与发现能力支离破碎。

当我们开源 Unity Catalog 并发布开放 API 时，我们打破了此前将客户锁定在封闭生态中的数据孤岛。企业终于能够仅维护一份数据副本、自由选用任意计算引擎，并在一个统一位置实现全面的数据治理。自此，Unity Catalog（UC）生态系统蓬勃发展。如今，数千家客户正使用 Unity Catalog 来治理和访问 Delta Lake 与 Apache Iceberg 表，而不断壮大的 UC 生态系统已拥有数十种集成——涵盖 Apache Spark、Trino、DuckDB 和 Confluent Tableflow 等。

外部引擎访问托管表：现处于 Beta 阶段

UC 托管表是开放性与高性能的交汇点。这类高级表借助预测性优化（Predictive Optimization）和 Liquid Clustering，自动调优数据布局、执行合并（compaction）与清理（vacuuming），并持续更新统计信息——查询性能最高可提升 20 倍，存储成本最多可降低 50%，同时仍完全通过开放 API 提供访问能力。

目前处于 Beta 阶段的新功能，支持 Apache Spark、Flink 和 DuckDB 等外部引擎创建并写入 UC 托管的 Delta 表，同时享受集中式治理与自动优化。

在 Beta 版本中，外部引擎可实现以下能力：

创建托管表 —— 直接从外部引擎新建 UC 托管表；
批量读写 —— 对托管表执行具备完整事务安全性的读写操作；
流式读写托管表 —— 将托管表同时用作流式数据源（source）与接收端（sink），从而在 Apache Spark 上构建端到端实时数据管道。

由于所有操作均经由基于 catalog commits（目录提交）构建的 UC 托管表执行，因此您将获得序列化的提交操作，有效防止日志损坏，并对每次读写操作实现完整可审计性。即使由外部引擎访问，预测性优化仍能无缝运行。此外，catalog commits 还为诸如多语句、多表事务（multi-statement, multi-table transactions）等需依赖中心化提交协调器的功能奠定基础。

随着更多计算引擎扩展对托管表外部访问的支持，蓬勃发展的 UC 生态系统仍在持续壮大。Delta Kernel —— 一个用于读取、写入及提交 Delta 表的开源 Java 与 Rust 库 —— 抽象了底层协议细节，使连接器开发者得以专注于 UC 集成，而非 Delta 实现本身。Apache Spark、Delta Flink 和 DuckDB 均已基于 Delta Kernel 实现对外部写入 UC 托管表的支持，并与目录管理的提交机制完成集成；整个生态仍在快速扩展。通过处理底层协议复杂性，Delta Kernel 让任意计算引擎都能轻松对接 Unity Catalog，从而推动连接器生态持续繁荣。

凭据分发（Credential Vending）赋能安全的外部访问

外部引擎若要访问 UC 中的数据，必须具备一种安全的身份验证方式，并能按需获取对云存储的细粒度访问权限，而无需依赖宽泛、静态的权限或绑定至特定账户的长期凭证。Unity Catalog 通过现已正式发布（GA）的凭据分发（credential vending）功能来满足这一需求：UC 可按需向外部引擎动态签发短期、限定作用域的临时凭证，并由中心化策略强制执行访问控制。

数千家客户已借助 UC 开放 API 实现规模化应用，而两项关键增强功能进一步使其具备企业级生产就绪能力：外部引擎现可通过机器对机器（M2M）OAuth 协议认证接入 UC，满足企业安全合规要求，不再依赖个人访问令牌（PAT）——后者属用户专属、长期有效且难以轮换；此外，外部引擎可通过 UC 的凭据分发 API 自动刷新凭证，确保持续数小时的作业稳定运行，避免任务中途因令牌过期而失败。

展开

使用外部计算引擎配合凭据分发执行查询

借助凭据分发，企业可从任意兼容引擎或工具中读取、写入及创建 Unity Catalog 中的托管表与外部表。这些临时凭证具有时效短、作用域精确的特点，并受 UC 权限体系统一管控。这意味着您的平台团队可完全掌控哪些主体有权进行外部数据访问，以及它们被允许执行的具体操作。

“借助 Unity Catalog 的开放 API，我们赋能各业务团队自由选用其偏好的工具，同时确保治理规范与数据一致性。我们得以在真正跨计算引擎互操作的数据与 AI 平台上，充分发挥托管表的各项优势。”
—— 百事公司（PepsiCo）企业数据运营总监 Sudipta Das

面向 Volume 的凭据分发

凭据分发能力不仅覆盖结构化表，也延伸至非结构化数据。面向 Volume 的凭据分发现已进入公开预览（Public Preview）阶段，外部客户端可据此申请临时、限定作用域的凭证，以受 Unity Catalog 治理的方式访问存储于 Volume 中的图像、PDF 文档及视频等文件。无论您是在查询一张表，还是在外部处理一段原始视频文件，所适用的访问控制模型、审计追踪能力以及作用域凭证机制均保持一致。

下一步？

我们正在继续投资以增强外部访问的能力。目前的凭证分发功能管理外部引擎的粗粒度访问控制。我们还开发了用于外部读取的功能，以实施基于属性的访问控制 (ABAC) ，这使得治理更加细粒度化。当从外部引擎读取 UC 管理的表时，可以强制执行行和列级别的 ABAC 策略。

立即开始

要开始使用凭证分发，请参阅我们的文档。要使用受管 Delta 表的外部访问 Beta 版：

在 Databricks 预览门户中注册“对 Unity Catalog 受管 Delta 表的外部访问”（请参阅管理 Databricks 预览）。
在您的元存储上启用外部数据访问，并授予包含您要访问的表的架构 EXTERNAL_USE_SCHEMA 权限。
创建一个新的 UC 管理表。要迁移现有数据，请参阅迁移指南，了解如何将外部表转换为管理表。
使用 Delta-Spark 4.2 和 Unity Catalog 0.4.1 从外部计算创建、读取和写入管理表。有关详细信息，请参阅外部访问文档。

加入 Data and AI Summit 2026

Data and AI Summit 2026 即将到来！2026 年 6 月 15 日至 18 日，加入我们在加利福尼亚州旧金山莫斯康中心，了解领先组织如何使用 Unity Catalog 跨引擎治理数据和 AI。立即注册，抢先了解开放统一治理的下一步发展。

获取最新帖子到您的收件箱

订阅我们的博客，获取最新帖子直接发送到您的收件箱。

注册

*

工作邮箱

*

国家国家*

通过点击“订阅”，我理解我将收到 Databricks 的通讯，并同意 Databricks 根据其隐私政策处理我的个人数据。

查看所有博客

为什么选择 Databricks

发现

客户

客户案例

合作伙伴

为什么选择 Databricks

发现

客户

客户案例

合作伙伴

产品

Databricks 平台

定价

开源

集成与数据

产品

Databricks 平台

定价

开源

集成与数据

解决方案

Databricks 行业解决方案

跨行业解决方案

数据迁移

专业服务

解决方案加速器

解决方案

Databricks 行业解决方案

跨行业解决方案

数据迁移

专业服务

解决方案加速器

资源

文档

客户支持

社区

学习

活动

博客和播客

资源

文档

客户支持

社区

学习

活动

博客和播客

关于

公司

职业发展

新闻媒体

安全与信任

关于

公司

职业发展

新闻媒体

安全与信任

Databricks Inc. 160 Spear Street, 15th Floor San Francisco, CA 94105 1-866-330-0121

[](https://www.linkedin.com/company/databricks)
[](https://www.facebook.com/pages/Databricks/560203607379694)
[](https://twitter.com/databricks)
[](https://www.databricks.com/feed)
[](https://www.glassdoor.com/Overview/Working-at-Databricks-EI_IE954734.11,21.htm)
[](https://www.youtube.com/@Databricks)

查看职业机会

在 Databricks

[](https://www.linkedin.com/company/databricks)
[](https://www.facebook.com/pages/Databricks/560203607379694)
[](https://twitter.com/databricks)
[](https://www.databricks.com/feed)
[](https://www.glassdoor.com/Overview/Working-at-Databricks-EI_IE954734.11,21.htm)
[](https://www.youtube.com/@Databricks)

我们重视您的隐私

Databricks 使用 Cookie 和类似技术来增强网站导航、分析网站使用情况、个性化内容和广告，详情请参阅我们的 Cookie 声明。要禁用非必要的 Cookie，请点击“拒绝全部”。您还可以通过点击“管理偏好”来管理您的 Cookie 设置。

管理偏好

拒绝全部接受全部

隐私偏好中心

退出偏好信号已生效

隐私偏好中心

### 您的隐私
### 必需型 Cookie
### 性能 Cookie
### 功能性 Cookie
### 定向 Cookie
### TOTHR

#### 您的隐私

当您访问任何网站时，它可能会在您的浏览器中存储或检索信息，通常以 Cookie 的形式存在。这些信息可能与您、您的偏好或您的设备相关，并主要用于使网站按您期望的方式运行。这些信息通常不会直接识别您的身份，但可以为您提供更个性化的网络体验。由于我们尊重您的隐私权，您可以选择不允许某些类型的 Cookie。单击不同的类别标题以了解更多信息并更改我们的默认设置。但是，阻止某些类型的 Cookie 可能会影响您对网站的体验以及我们能够提供的服务。

#### 退出销售、共享和定向广告

根据您的位置，您可能有权退出“出售”或“共享”您的个人信息或将您的个人信息用于在线“定向广告”的处理。您可以通过在此处禁用可选 Cookie 来基于 Cookie 和类似标识符退出。要基于其他标识符（例如您的电子邮件地址）退出，请在我们的隐私请求中心提交请求。

更多信息

#### 必需型 Cookie

始终启用

这些 Cookie 对于网站功能至关重要，无法在我们的系统中关闭。它们协助实现基本的网站功能，例如设置您的隐私偏好、登录或填写表单。您可以将浏览器设置为阻止或提醒您注意这些 Cookie，但网站的部分功能将不再可用。

#### 性能 Cookie