Databricks

Read, don't copy: replacing file and API feeds with OpenSharing - Part 1 (The Why)

7.1内容质量

TL;DR · AI 摘要

Read, don't copy: replacing file and API feeds with OpenSharing - Part 1 The Why Databricks Blog Skip to main content Da...

核心要点

  • 主题聚焦:Read, don't copy: replacing file and API feeds w
  • 来源:Databricks,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#后端#云计算
打开原文

读取而非复制:用 OpenSharing 替代文件和 API 数据源 —— 第一部分(为什么) | Databricks 博客

跳至主要内容

数据战略

2026 年 11 月 6 日

读取而非复制:用 OpenSharing 替代文件和 API 数据源 —— 第一部分(为什么)

无需维护数据管道、回溯处理和重复存储,简化客户数据摄入方式

Jordan Soldo 和 Nikhil Tallam 著

摘要

  • 随着规模扩大,传统客户数据源的成本会显著增加:每个 SFTP 文件传输或 API 数据拉取都需要额外监控的管道,脆弱的增量加载机制,依赖客户的回溯处理,以及需要存储的重复数据副本。
  • 直接读取客户表而非复制:通过 OpenSharing,您可以跟踪客户通过流式传输或变更数据馈送共享的表的变更,无需自行记录已处理内容。
  • 客户共享变得更简单:将您添加为接收方只需在客户已维护的表上进行授权,审计日志会记录每次访问共享数据的情况。

如果您通过 SFTP 或 API 从客户获取数据,您可能至少问过以下问题之一。

  • 是否可以只拉取变更内容,而非重新处理整个文件?
  • 是否可以在我客户写入数据后立即获取新数据,而非等待下一次文件传输?
  • 是否可以无需请求客户重新导出数据,就能回溯数月的数据?
  • 是否可以向客户展示其数据被访问的具体时间?

答案是可以,但不是通过大多数团队仍在依赖的传统模式。

数据工程已经取得了长足进步,但客户数据摄入方式几乎没有任何变化。大多数团队仍然使用 SFTP 文件传输、API 拉取或托管连接器。这些模式虽然都能工作,但随着客户数量增加,它们带来的隐性成本会逐渐累积。

理想情况下,您应该能够利用表自身的版本历史记录,仅增量拉取新数据,并直接读取客户已维护的表,无需搭建 SFTP 服务,也无需为每个客户维护连接器。您还能立即获取最新数据,因为客户写入表后,数据会立即对您和其他所有接收方可用。

OpenSharing 正是为此而设计。它是一种开放协议,允许直接读取表,基于 Delta Lake 和 Iceberg 等开放表格式构建。由于协议是开放的,您甚至无需使用 Databricks 即可读取客户共享的内容。

我们是如何走到这一步的

这一切并非一蹴而就。最初是基于文件的数据源,因为它们是一种简单的摄入模式:客户只需通过 SFTP 或存储桶上传文件,您的系统即可接收处理。随后 API 出现,因为客户要求比每日文件更新更及时的数据。这时您可以按自己的时间表拉取变更,而客户只需维护一个 API 端点。接着出现了托管连接器,当为每个 API 或 SFTP 数据源编写自定义代码不再可扩展时,这成为自然的下一步,新客户接入变成了配置而非编码。

虽然每种方式都有其适用场景,但真正的问题在于,一旦开始维护这些管道,它们会悄悄产生哪些成本。

隐性成本

大多数隐藏成本源于管理每个数据管道,因为每个客户都有其独特的特性,这些特性可能导致失败。SFTP文件转储需要处理客户上传到SFTP服务器的文件与约定文件不一致的情况。另一方面,API本身也隐藏着一套失败模式。

以一个返回数据的端点为例。调用该端点通常需要传递时间参数,而该参数会返回对应的数据。正是这个参数可能带来麻烦,因为如果无法跟踪最后一个时间戳,会导致你的数据副本出现偏差。对于托管连接器而言,即使连接仍然可能失败,你还会失去大量灵活性。

在数据回填场景中,这种问题尤为明显。假设你发现了一个错误,需要重新处理数月的数据。如果你没有存储当前摄入的原始数据,最终需要与客户协商解决。对于文件,可能需要请求客户重新导出数月的数据。在API的情况下,你最终不得不分批次重新轮询数据,很可能会遇到速率限制或其他阻碍。

在所有这些情况下,你都需要跟踪每个客户最后处理的数据。然而,如果记录出现偏差,你可能会重复处理数据行或遗漏潜在批次,甚至可能导致静默故障,需要耗费数小时进行调试。

这种痛苦不仅影响你这个数据消费者,也会波及你的客户。提供这些数据意味着要构建并维护一个导出系统,该系统有自己独立的计划、格式和失败模式。客户也无法了解你是否访问过这些数据,只能盲目信任你,且无法验证其他人是否查询过这些数据。最后,双方都会产生存储成本,因为他们都需要保留这些数据的副本。

OpenSharing 的变革

OpenSharing 解决了上述多个问题,因为你不再需要复制客户的数据。相反,你可以通过开放协议直接在原地读取客户的表。

共享表还可以暴露变更数据流。这意味着每当你的数据管道运行时,它可以读取该流以了解哪些记录被创建、删除甚至更新。现在,你过去用于跟踪已处理数据的表变成了管道为你管理的检查点。

此外,如果客户将整个历史表与你共享,你可以顺利解决回填场景。在这些情况下,你只需查询需要回填的数据即可。OpenSharing 提供对表的直接访问;你无需支付存储费用来复制这些数据,并且每次查询时都能获取最新数据。

你的客户也能从中受益。他们无需专门为向你提供数据而构建和维护导出系统,而是共享他们已经维护的表,添加接收者只需一个授权操作。此外,读取他们的表不会影响他们的系统性能,因为你是通过自己的计算资源直接从云存储中读取数据,而不是查询他们的数据库。最后,通过 Databricks 系统表,他们可以看到接收者何时查询了共享表,将之前基于信任的假设替换为可实际阅读的审计跟踪。

让我们实际看看

我们致力于解决传统客户数据摄入过程中遇到的问题。通过使用 OpenSharing,您可以原地读取表数据,仅提取已更改的部分,实时查看客户写入的新数据,将回填操作转化为查询而非请求协助,同时为客户提供每一次访问的审计记录。

查看第 2 部分,了解如何端到端地与客户设置 OpenSharing,从创建共享到在自己的数据管道中逐步读取变更内容。

相关标签:

Insights

订阅博客获取最新文章

订阅我们的博客,将最新文章发送至您的邮箱。

立即订阅

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"