Air gapped, not data dark: how Bright Machines gives customers live factory dashboards without opening the plant
TL;DR · AI 摘要
Air gapped, not data dark: how Bright Machines gives customers live factory dashboards without opening the plant Databri...
核心要点
- 主题聚焦:Air gapped, not data dark: how Bright Machines g
- 来源:Databricks,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
物理隔离,而非数据孤岛:Bright Machines 如何在不开放工厂的前提下为客户提供实时工厂仪表板 | Databricks 博客
跳至主要内容
行业
2026年11月11日
物理隔离,而非数据孤岛:Bright Machines 如何在不开放工厂的前提下为客户提供实时工厂仪表板
Bright Machines 如何通过 Debezium、Apache Iceberg 和 Unity Catalog 将工厂变更从物理隔离的工厂实时传输至客户,使客户能够查看实时且受管控的仪表板,而无需对工厂开放任何入站访问权限
作者:Jitesh Soni、Anup Chatterjee、Bryan Whittington、Mark Loesel、Mauricio Caro、Caitlin Gordon 和 Rachel Musiker
摘要
- 来自物理隔离工厂的实时工厂数据:Bright Machines 通过 Debezium 在边缘捕获 PostgreSQL 变更,并将其写入 Apache Iceberg 格式。数据通过一条可审计的出站路径传输,Databricks 通过 Unity Catalog 与 AWS Glue 的联邦功能直接读取数据。
- 一个受管控平台取代原有九个服务的流水线:原有流水线在模式变更时会失效,故障难以察觉且缺乏真正的访问控制。现在,一个由 Unity Catalog 管控的统一平台可提供基于角色的 AI/BI 仪表板和零拷贝共享功能。
- 成果:数据在生产线写入后 1-2 分钟内即可在 Databricks 中查询,仪表板每 10 分钟刷新一次。心跳检测可在 30 分钟内发现流水线故障(而非以往的数天),首个客户仪表板在项目启动后约两个月上线。
Bright Machines 在无需开放任何入站访问权限的前提下,为客户提供实时且受管控的工厂数据仪表板。它通过 Debezium 在工厂边缘捕获 PostgreSQL 变更,将其写入 Apache Iceberg 格式,通过单一可审计的出站路径传输数据,并通过 Unity Catalog 联邦功能在 Databricks 中直接读取数据。首个客户可见的仪表板在项目启动后约两个月上线。
- 问题:客户需要工厂数据,但唯一可行的共享方式是重新运行本地报告并通过电子邮件发送。
- 解决方案:Debezium 变更数据捕获、Apache Iceberg、AWS Glue、Unity Catalog、Databricks SQL、AI/BI 仪表板和 OpenSharing。
- 成果:原有九个松耦合服务被一个受管控平台和一个边缘传输路径取代,工厂无任何入站端口。
- 数据新鲜度:生产线提交的一行数据可在 Databricks 中 1-2 分钟内查询,仪表板每 10 分钟刷新一次。
- 监控:心跳检测可在 30 分钟内发现流水线故障(相比以往的数天)。
为什么客户无法查看自己的工厂数据?
每次客户参观我们的工厂车间时,都会发生同样的事情。他们站在装配仪表板前,观看生产线运行,并要求获取数据副本:各工位的良率、循环时间趋势、按原因分类的停机时间、批次的谱系信息。
我们拥有所有这些数据。我们为自己的运营团队构建了这些仪表板,它们直接在车间的生产线数据库上运行。客户无法通过互联网直接访问这些数据。工厂设计为物理隔离:无入站访问权限,仅有一条严格控制的出站路径,且基于角色的访问规则限制了内部访问。
每次新报告都需要数据工程团队通过多个 ETL 作业重新构建数据,耗时数小时至数天。
Bright Machines 构建基于软件定义、以自动化为核心的生产线,这些生产线部署在客户工厂内部。这些工厂的设计原则是高度封闭:禁止外部接入、限制外部出站流量、对风险零容忍。每条生产线运行一组本地服务(包括我们自主研发的MES系统、与客户MES系统的集成、操作员界面、机器人工作流编排器和装配看板),所有数据均持久化存储在工厂本地集群的PostgreSQL数据库中。负责维护该系统的软件团队规模精简,同时负责数据管道的端到端管理以及数据应用软件栈的开发。这些数据驱动着各类KPI看板、财务报表、运营分析、质量监控、供应商组件质量追踪、不良品记录跟踪、产品谱系追溯、OEE计算以及每班次的停机时间和节拍时间分析。
旧工厂数据管道的架构是怎样的?为什么它会失败?
在首次尝试解决这个问题时,我们通过应用事件从九个松耦合的服务中重建了每个工厂数据库的云端镜像。在工厂现场的视角是清晰的,但问题出在离开工厂现场后的复杂架构和数据管道。
这九个服务包括:消息代理、自定义数据搬运工具、消息队列、对象存储、少量无服务器函数、云关系型数据库、任务调度器、ETL管道以及一个拥有基础RBAC权限控制的流行开源BI工具。
该数据管道失败的原因包括:
- 模式演变:数据模式频繁变更,除非每次本地看板或模式变更时都更新ETL任务,否则管道会静默丢弃变更后的数据。
- 缺乏监控:管道存在故障,死信队列难以监控,导致事件丢失或重复未被察觉。
- 数据验证缺失:数据进入存储桶后,无法确认其准确性或来源可靠性。
- 数据治理不足:无法对共享视图和数据实施有效的治理和基于角色的访问控制。
修复上述所有问题需要从零开始重新架构。
新架构的设计要求是什么?
除了上述原因,这些约束条件还塑造了新架构的设计:
安全模型:工厂不允许任何入站连接,所有访问必须可审计。
治理能力:客户可以看到其角色在工厂现场的具体权限范围,我们必须能够证明相关限制措施已落实到位。
分钟级数据新鲜度:本地的看板视图通过互联网访问时,数据应在几分钟内同步显示。
新架构的实现方式:
为什么Bright Machines选择边缘捕获与联邦模式而非直接采集?
Bright Machines选择通过Unity Catalog联邦模式实现边缘变更数据捕获,因为这是唯一一种在治理策略应用之前,工厂数据不会被客户或Bright Machines账户之外的任何计算资源处理的方案。
我们的选择标准依次为:与现场已实施的访问控制策略匹配、可向任何安全团队解释的单一可审计出站路径、分钟级数据新鲜度、以及在边缘支持开放数据格式。
我们与 Databricks 解决方案架构师讨论了各种选项后才开始编写代码。最显而易见的两种方案是 Lakeflow Connect 直接从 PostgreSQL 吞吐数据,以及通过 Auto Loader 抓取 PostgreSQL 导出数据。这两种方案部署起来都更快。我们的威胁模型遵循数据可以推出去但外部无法进来的规则。基于拉取的摄入模式需要从云到工厂数据库的网络路径,并且要在数据所在账户之外的环境中运行摄入任务。因此问题变成了:如何在不将接触原始工厂数据的每个环节暴露在我们控制之外的环境中,同时实现相同的治理结果?
答案是反转方向。在边缘捕获变更,以开放格式落地,通过一条可审计的路径推送出去,让 Databricks 直接在原地读取。
我们在一条与生产环境类似的复制线上进行了验证,耗时约六周,由两名工程师完成。验证标准包含两个部分。第一,线上提交的一行数据必须在不开放入站端口的情况下,五分钟内即可查询。第二,客户主体只能看到其角色权限允许的表和仪表板,而无法看到其他内容。
关键因素在于 Databricks 已经实施了与我们一致的安全模型:通过 Unity Catalog 控制谁可以看到什么,通过 OpenSharing 在不复制的情况下发布受控表。起初我们担心联邦表的治理可能不够严格以满足审计要求。实际上治理是严格的,而我们在切换过程中遇到的严格性,也正是现在依赖的严格性。
空气隔离工厂的数据如何进入 Databricks?
数据通过五个步骤从工厂传出,仅通过一条出站路径,Databricks 在不进行复制作业的情况下直接读取。操作人员保留本地装配仪表板,因为他们需要实时数据。Databricks 云服务为客户提供内部团队服务。
在边缘使用 Debezium 捕获变更。Debezium Server 跟踪 PostgreSQL 复制槽,将只追加的 Apache Iceberg 变更日志写入本地对象存储。如果广域网中断,积压的数据会以地面上的物体形式存在,而不是在生产数据库中堆积成预写日志。
通过单一路径传输。一个边缘组件将每个对象复制到站点云账户的存储桶中。这是工厂唯一的出站数据路径,其凭据只能写入该存储桶,无法访问其他内容。跨账户复制将对象传输到分析账户。
通过 Unity Catalog 联邦集成。Iceberg 表在 AWS Glue 中注册,Unity Catalog 将 Glue 作为只读目录进行联邦。这使得工厂 PostgreSQL 数据库中的数百张表无需复制即可在 Databricks 中查询。
在 Databricks SQL 中建模。青铜视图将变更日志折叠为当前状态。Lakeflow Job 每十分钟重建一次银层模型,所有操作均通过 SQL 完成,并通过 Databricks Asset Bundles 从 Git 部署。
通过仪表板和 OpenSharing 提供服务。多个 AI/BI 仪表板通过基于角色的权限从银层读取处理后的数据。这使得外部客户和内部团队都能看到相同的数据。OpenSharing 允许以相同的数据副本安全地共享给我们的客户。
为什么要在 AWS Glue 中注册 Iceberg 表,而不是直接指向存储桶?
在 AWS Glue 中注册表可以确保 Bright Machines 精确控制每张表何时向前推进。对象存储上的变更日志是一系列新的元数据文件。一个小型函数仅在新元数据文件完全复制完成后才会将 Glue 中每张表的指针向前推进。Glue 保管指针,Unity Catalog 保管权限,Databricks 只会读取我们验证过的版本。
如何区分空闲的生产线和故障的管道?
使用心跳机制。当生产线因换班停止时,不会产生新行,这与管道故障的表现完全相同。行数统计无法区分这两种极端情况。
Debezium 每五分钟在每个源数据库中更新一个单行的心跳表,无论生产线是否运行。该更新与生产数据走相同的路径。Lakeflow Job 的第一个任务会检查心跳,如果任何心跳超过三十分钟未更新,任务将失败并使整个作业变为红色。仪表板会持续显示最后的正常数据,而不是将过时数据作为当前数据展示。
迁移是如何分阶段进行的?我们学到了什么?
我们分四个阶段推进:1. 在概念验证线进行试点;2. 在价值最高的生产线上正式上线;3. 与旧快照路径并行运行以逐行检查数据一致性;4. 对客户仪表板进行硬切换。
令我们惊讶的是,规模问题出现在错误的维度。我们每天传输几百GB数据,但以数十万个小对象的形式,因此每个设计决策都围绕对象速率展开,而非字节数量。
如果重来一次我们会改进的地方:在第一天就构建数据对账流程。由创建事件驱动的同步永远不会回溯处理遗漏的对象,下游系统直到查询触及该对象时才会发现问题。
Bright Machines 见到了哪些成果?
客户访问的重点发生了变化。没有人再要求复制仪表板,因为他们已经可以通过现有角色访问。客户分析师可以在办公桌前打开质量仪表板,看到与生产线主管在地面看到的数字基本一致(大约在事件发生后十分钟内)。我们从不运行报告。第一个面向客户的仪表板在项目启动后约两个月上线。
其他团队应从中学到什么?
对于任何需要从封闭站点共享数据的团队,有五个经验教训:
- 从已有的安全模型出发。我们的数据治理要求定义了角色和限制。我们选择了能精确实施这些规则的平台,而非近似实现。
- 首先设计唯一的出口路径并在其后设置缓冲区。单一可审计的出口路径使后续与安全团队的每次沟通都变得可控。在边缘进行缓冲意味着广域网波动永远不会演变为生产数据库事故。
- 控制表向前推进的时机。拥有一个带有指针保护的目录跳转,意味着数据湖仓只会看到你验证过的版本。
- 一次性构建数据,让权限处理其余工作。维护每个报告的客户版和运维版消耗了大量时间。
- 在心跳机制上确保新鲜度,而非依赖行数统计。没有新行意味着生产线处于空闲状态,没有新心跳意味着管道出现故障。
Bright Machines 接下来会做什么?
现在数据已经实现治理并可被访问,下一步是通过Genie的自然语言分析、自定义AI代理以及将工厂数据转化为前瞻性决策的预测分析,使这些数据更易于AI功能使用。
为运营分析和调查提供自定义AI代理。在这些产线工作的人员——操作员、质量工程师、维护技术人员——拥有领域专业知识,但并非SQL用户。通过Databricks Apps或Agent Bricks的自定义AI代理,可以让产线负责人询问"为什么这班次第4工位停机时间更长?" Bright Machines提供的知识文档结合运营数据,可以基于相同的受控银色数据得出答案。这就是"提升利润底线"的策略——减少从问题提出到工厂现场采取行动的时间。
常见问题部分
Databricks能否用于空气隔离的工厂?可以。Bright Machines不会向工厂开放任何入站端口。更改在工厂内部捕获,并通过一条可审计的出站路径推送出去,Databricks通过Unity Catalog联邦直接读取生成的Apache Iceberg表。
Databricks中的工厂数据有多新?在产线提交一行数据后,稳定状态下可在1到2分钟内查询到Databricks。银色模型和仪表板每10分钟刷新一次。需要实时视图的操作人员继续使用本地装配仪表板。
客户如何访问数据?有两种方式:集成Bright Machine单点登录联邦的基于角色权限的AI/BI仪表板,以及额外的OpenSharing访问功能,该功能将零拷贝受控银色表发布给拥有Databricks账户的客户。
旧的九服务管道被什么取代?一个受控平台Databricks,加上由Debezium、本地对象存储和一个同步组件组成的单一边缘路径。青铜视图、银色模型、作业、仪表板和共享内容都从一个Databricks资产包中部署。
该设计专门构建在AWS上,是否适用于Azure或Google Cloud?云特定部分包括边缘同步目标、跨账户复制和目录跳转。Databricks侧的所有内容在任何云上都相同,因此迁移只需更改几个资源,而非重新构建。
耗时多久?概念验证阶段约需六周时间,由两名工程师完成。首个客户可见的仪表板在启动后约两个月上线。
想要在不开放入站访问的情况下从封闭站点共享受控数据?了解Unity Catalog如何从AWS Glue联邦Apache Iceberg表,或联系您的Databricks账户团队讨论架构方案。
相关标签:
解决方案 , 客户案例 , 最佳实践 , 制造业与数据工程
订阅最新文章
订阅我们的博客,将最新文章发送到您的邮箱。
注册
查看所有博客
slice-start id="_gatsby-scripts-1"
slice-end id="_gatsby-scripts-1"