The Data Product Platform Navigator

TL;DR · AI 摘要
基于CNCF平台工程成熟度模型,本文为数据网格和数据产品平台建设提供导航,帮助组织评估现状并制定发展策略。
核心要点
- 数据网格必须依赖自服务平台实现去中心化所有权
- 平台成熟度分为四个级别:临时/运营/可扩展/优化
- 采用成熟度模型可优化平台投资策略
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- 数据产品平台导航器
- 数据网格需求
- 自服务平台
- 平台工程
- 成熟度模型
- 四个发展阶段
- 应用策略
- 投资路线图优化
金句 / Highlights
值得收藏与分享的关键句。
数据网格的核心原则是自服务平台,需提供自动化工具减少团队认知负担
平台成熟度模型包含四个级别:临时平台、运营平台、可扩展平台、优化平台
采用成熟度模型可识别平台差距,指导资源投入优先级
数据产品平台导航器
使用平台工程成熟度模型指导您的数据网格之旅
许多采用数据网格和数据产品的组织面临一个共同的挑战。他们可能需要从零开始构建一个自助服务平台,用于数据产品和数据网格,或者他们可能已经拥有一个平台,但由于采用率低,阻碍了数据网格的扩展。本文基于CNCF的平台工程成熟度模型,提供了一个平台导航器,帮助您分析当前状况并确定平台的下一步行动。
2026年11月5日
Tom De Wolf
Tom De Wolf是比利时ACA集团的架构师兼创新负责人,他帮助组织设计和构建自助式数据网格和数据产品开发平台。他拥有多智能体系统博士学位,专长于智能体、平台工程、数据网格和领域驱动设计的交叉领域。Tom是bitol技术指导委员会成员,参与了开放数据契约标准(ODCS)和开放数据产品标准(ODPS)的制定。他积极参与社区活动,是国际会议的活跃演讲者,比利时数据网格Meetup的创始人,以及数据网格Live会议的主持人和项目负责人。
platforms
data mesh
目录
- 数据网格和数据产品需要自助服务平台
- 平台鸿沟
- 平台工程的解决方案
- 平台导航器:CNCF成熟度模型 理解成熟度模型 如何使用成熟度模型
- 数据产品和数据网格平台成熟度的四个等级 等级1:临时平台 - “无平台”平台 等级2:运营平台 - “碎片化”平台体验 等级3:可扩展平台 - 平台即产品 等级4:优化平台 - 平台即生态系统
- 数据网格成功所需的最低成熟度等级
- 平台采用曲线
- 应用有针对性的投资策略
- 结论
数据网格和数据产品需要自助服务平台
数据网格的核心原则之一是需要一个自助式数据平台。为了实现去中心化所有权,领域团队必须被赋权,能够在没有摩擦或认知负担的情况下构建、部署和管理自己的数据产品。自助服务平台提供了必要的抽象、自动化和工具,使这种自主性成为可能。
一个设计良好的平台应包含数据网格的关键概念,如数据契约和数据产品。数据契约确保团队之间数据交接的可控性和稳定性。数据产品作为产品化数据的可重用单元,可以相互连接,形成网络或“网格”,从而分配去中心化所有权。
图1:自助式数据平台的高层概述,赋能跨领域数据产品的创建和生命周期管理。
这种“平台差距”产生的原因在于,单一数据产品需要结合这些技术才能作为一个整体协同运作。因此,没有任何一种底层技术能够覆盖整个数据产品。缺乏内置的抽象机制常常导致人们对数据产品是什么以及它在技术栈中的表现方式感到困惑。这种复杂性可能使团队难以直接使用现有技术,阻碍数据网格原则的采用。
图2:平台差距,说明了高层次数据网格概念与底层数据技术之间的脱节。
平台工程的解决方案
解决平台差距的明显方法是构建一个位于现有数据技术之上的平台。这一新层级应提升抽象层次,降低开发人员的认知负担,并围绕数据契约和数据产品提供以用户为中心的体验。目标是通过自动化和集成体验,创建一个真正自助服务的平台。
然而,构建此类平台并非没有挑战。平台团队往往难以清晰表达进展、优先安排工作以及展示其投资的价值。这时,通过成熟度模型指导的结构化方法就能提供明确的方向。
图3:平台工程通过在现有数据技术之上创建新的抽象层级来弥合平台差距。
平台导航仪:CNCF成熟度模型
平台工程社区通过云原生计算基金会(CNCF)发布了《平台工程成熟度模型》。该模型为评估和提升平台能力提供了框架,成为数据网格实践的优秀导航工具。
理解成熟度模型
CNCF平台工程成熟度模型由多个成熟度等级和随着平台发展而演变的一系列评估维度构成。
成熟度等级包括:
- 试验阶段:初始的、临时性平台。
- 运营阶段:更加标准化且集中管理的平台。
- 可扩展阶段:鼓励采用的自助服务平台。
- 优化阶段:持续改进并深度集成到开发工作流的平台。
每个等级评估的平台维度包括:
- 投资:平台的人员和资金分配方式。
- 采用:用户如何发现和使用平台的原因和方式。
- 接口:用户如何与平台能力进行交互和消费。
- 运营:平台能力的规划、优先级排序、开发和维护方式。
- 测量:如何收集反馈并将其纳入以改进平台。
图4:CNCF平台工程成熟度模型,展示四个等级(试验、运营、可扩展、优化)和五个维度(投资、采用、接口、运营、测量)。
如何使用成熟度模型
图5:使用成熟度模型的三步流程:1. 了解当前平台成熟度,2. 聚焦高摩擦维度,3. 持续迭代。
使用成熟度模型是一个直接的过程:
- 了解当前状态:第一步是将当前平台情况与不同维度和成熟度等级进行映射。例如,我们可能有一个专门的平台投资团队(等级2),但运营和测量可能仍然处于临时状态(等级1)。
图6:在成熟度模型网格中映射平台的当前状态,并在高摩擦领域标注计划改进方向。
- 聚焦特定领域:当我们对当前状态有清晰认知后,可以聚焦于特定领域进行改进。例如,若希望确保构建正确的功能,可能会决定投入平台产品团队,并开始收集用户最大痛点的洞察。
- 迭代优化:最后一步是应用改进措施并持续调整。
在迭代过程中,我们必须平衡成熟度模型的不同维度。某些方面(如投资和采用)高度依赖人员、政策和流程,而其他方面(如接口和运营)则更侧重技术。通过将成熟度模型网格作为指南,我们可以有意识地规划下一步行动。例如,我们可能意识到需要在建立专职产品团队并收集洞察(人员、政策和流程)之后,才应专注于自助服务解决方案和自动化中心赋能(技术)来平衡投资。这种平衡能防止我们在某一领域过度投入而忽视其他领域,该模型也能帮助我们清晰地向利益相关者传达这些战略决策。
数据产品与数据网格的平台成熟度四级模型
第1级:临时平台 - "无平台"平台
数据产品和数据网格的临时平台以技术选型和资源分配的临时性与混乱性为特征。为说明这一点,我们采用领域叙事的方式进行描述。
图7:临时平台的领域叙事,展示开发者向不同工程师临时请求各种组件,导致技术混杂混乱的局面。
设想第一位数据产品开发者试图创建新数据产品。由于缺乏中心化自助服务平台,他们必须通过个人关系网络在组织内协调资源。他们首先与DevOps工程师[1]沟通,请求创建源代码仓库,该工程师在Git平台[2]上创建了Git仓库。接下来,开发者需要构建和部署自动化流水线,于是联系第二位DevOps工程师[3],该工程师在CI系统[4]上创建了CI流水线。在数据存储方面,开发者与云工程师[5]沟通,该工程师在AWS云[6]上创建了S3存储桶。基础架构搭建完成后,开发者自行配置数据处理工具:在Iceberg目录和查询引擎上创建Iceberg数据库[7],并在Spark集群上创建Spark作业[8]。通过手动拼接这些分散组件,他们最终产出了一件类似数据产品的成果。
一段时间后,第二位数据产品开发者被指派构建另一个数据产品。由于没有平台文档或自助服务界面指引,他们向第一位开发者[9]咨询如何入门。第一位开发者将他们转介给之前协助过的DevOps工程师。第二位开发者随后联系该DevOps工程师[10],该工程师在Git平台[11]上创建了另一个Git仓库。接下来,开发者联系第二位DevOps工程师[12],该工程师在CI系统[13]上创建了另一条CI流水线。
然而,当选择分析技术栈时,第二位开发者采取了截然不同的方向。他们没有使用Iceberg和Spark,而是在Google BigQuery上创建了一个数据集[14],在dbt Cloud上运行dbt模型[15]进行数据转换,并在数据虚拟化工具上创建了一个视图[16]来提供数据。
这种场景凸显了临时平台的核心失效模式。数据技术的申请和分配完全依赖临时性安排,每个步骤都存在人为瓶颈,开发者必须"找到知道某人、而该人又知道如何完成某事的人"才能推进工作。没有明确的数据产品或数据合同概念,只有孤立的手动拼接的技术基础设施。结果导致认知负担过重、技术碎片化和复杂性加剧,以及组织内部影子IT的持续增长。
第2层:运营平台 - "碎片化"的平台体验
在运营层面,组织尝试标准化技术并集中跟踪请求。然而,数据产品开发者的体验仍然碎片化且复杂。
为在混乱中引入秩序,组织通常会建立专门的基础设施团队(如DevOps团队、云团队和数据平台团队)。请求随后通过Jira等集中式工单系统进行流转。
图8:运营平台的领域叙事,展示开发者使用工单系统,但仍需手动拼接组件。
继续这个故事,数据产品开发者现在必须通过正式工单请求每个组件:
开发者在工单系统中创建Git仓库工单[1]。一段时间后,DevOps团队读取该工单[2]并在Git平台上创建Git仓库[3]。随后开发者创建CI流水线工单[4],DevOps团队读取该工单[5]并在CI系统上创建CI流水线[6]。在存储方面,开发者创建S3存储桶工单[7],云团队读取该工单[8]并在AWS云上创建S3存储桶[9]。转向数据基础设施时,开发者创建Iceberg数据库工单[10],数据平台团队读取该工单[11]并在Iceberg目录与查询引擎上创建Iceberg数据库[12]。最后,开发者创建Spark作业工单[13],数据平台团队读取该工单[14]并在Spark集群上创建Spark作业[15]。
虽然这带来了中央可视性和技术目录标准化,但这种模式用队列和交接取代了个人间的协作。等待多个团队完成工单需要大量时间。更关键的是,当所有这些组件都部署完成后,开发者仍需独自将它们拼接成可用的数据产品。由于延迟和集成摩擦,开发者往往倾向于绕过平台,直接管理[16]自己的影子IT解决方案("我的数据平台")以更快交付成果。
在运营层面,可以通过典型的基础设施即代码(IaC)脚本(如Terraform)引入自动化,以加速单个组件的部署。这将避免使用工单系统和人为瓶颈。
图9:面向操作平台的领域故事,展示开发人员使用有限的基础设施即代码(Infrastructure-as-Code)自动化,但仍需手动将组件拼接在一起。
在此替代方案中,每个专业团队提供可重复使用的脚本,开发人员可以独立执行这些脚本。数据产品开发人员执行createGitRepository脚本[1],该脚本在Git上自动创建Git仓库[2]。然后开发人员执行createCIPipeline脚本[3],该脚本在CI系统上创建CI流水线[4]。对于云存储,开发人员执行createS3Bucket脚本[5],在AWS云上创建S3存储桶[6]。对于数据资产,开发人员执行createIcebergDatabase脚本[7],在Iceberg目录和查询引擎上创建Iceberg数据库[8],并执行createSparkJob脚本[9],在Spark集群上创建Spark作业[10]。
虽然这种基于脚本的自动化消除了工单处理的延迟,但开发人员仍然面临将所有内容拼接在一起以创建数据产品的复杂任务。认知负担依然很高,存在知识瓶颈,因为开发人员需要了解如何从这些不同组件(例如配置和集成网络、安全角色、存储、流水线、密钥等)组合数据产品。当出现错误时,开发人员会遇到知识空白,仍然需要[11]直接从DevOps团队、云团队和数据平台团队获得人工帮助。
最终,这种操作方法导致缺乏统一性:组织最终会形成“弗兰肯斯坦”式的数据产品,这些产品在表面上看起来相似,因为它们使用相同的底层技术,但在内部架构上却不一致。由于拼接所有内容的复杂性令人筋疲力尽,开发人员经常退回到影子IT,继续管理[12]自己的本地平台(“我的数据平台”)。
第3级:可扩展平台 - 平台即产品
可扩展的数据网格平台代表了开发人员体验的重大转变。界面完全改变,从单个技术转向更高层次、以数据产品为中心的抽象。
图10:面向可扩展平台的领域故事,展示开发人员与自助服务门户交互,该门户处理数据产品的配置和集成。
在此场景中,组织建立了一个专门的数据产品与数据网格平台团队,将平台视为产品。该团队不处理工单或提供独立脚本,而是提供一个自助服务的开发人员体验,包括数据产品开发人员门户和底层的数据网格平台后端。
领域故事变得简单得多。简而言之,数据产品开发人员只需点击“创建数据产品”,平台就会将技术和基础设施连接在一起形成数据产品。在上述领域故事图中,开发人员通过在数据产品开发人员门户上定义其架构规范(如输入和输出端口、数据转换代码设置以及数据结构和保证的数据契约),在数据产品开发人员门户上创建数据产品[1]。门户捕获此意图,并指示数据网格平台后端执行组件的配置和集成。
通过这一声明,数据网格平台后端会自动协调所有基础设施领域的底层技术资源:它在Git上创建一个Git仓库[2],在CI系统上创建一个CI流水线[3],并在AWS云上创建一个S3存储桶[4]。在数据基础设施领域,后端会在Iceberg目录与查询引擎上创建一个Iceberg数据库[5],并在Spark集群上创建一个Spark作业[6]。
后端不会仅仅启动孤立的组件,而是自动将它们连接并整合成一个连贯、标准化的数据产品。
这种集成的自助服务工具彻底改变了开发者的体验。开发者需要承担的认知负担显著降低,因为他们与数据产品的抽象层进行交互,而不是与底层技术进行斗争。它消除了知识瓶颈:开发者不再需要成为基础设施管道专家,不再需要手动缝合安全权限、流水线和存储配置。此外,由于平台后端强制执行架构标准,每个数据产品都表现出更高的技术一致性,从而避免了“弗兰肯斯坦式”的数据产品。当每个数据产品都遵循相同的标准化架构结构时,平台可以通过在所有数据产品中注入自动化策略检查、审计日志、访问控制和数据质量验证来实现自动化治理。通过使数据产品创建变得简单、直接且无摩擦,它鼓励自愿采用,自然抑制影子IT。
通过消除知识瓶颈,平台赋予数据产品开发者更多的自主权,这对于在多个领域团队中扩展数据网格和数据产品管理实践至关重要。
第4层:优化平台 - 平台作为生态系统
在优化层,平台深度融入开发者的日常工作流程。开发者无需切换上下文并访问平台门户,平台会直接进入开发者的日常工作环境和上下文中。
图11:优化平台的领域故事,展示平台集成到开发者的本地环境IDE/CLI中,并有多个团队贡献于平台生态系统的示意图。
这种转变通过让开发者日常使用的工具(如IDE或CLI)“感知数据产品”来实现。领域故事展示了这一转变如何简化整个数据产品生命周期:
数据产品开发者可以直接从日常工作空间[1]创建本地数据产品。通过IDE插件或专用CLI,开发者可以在熟悉的环境中创建、开发、部署和监控数据产品,无需进行破坏性的上下文切换。
本地工具与平台通信并在集中式数据网格平台后端[2]上创建数据产品(由数据网格平台团队维护)。
从这里开始,数据网格平台后端会自动配置并集成数据产品所需的关键技术。在Git [3]上会创建一个Git仓库,并在CI系统 [4]上配置CI流水线。在AWS云中,会创建一个S3存储桶 [5]用于存储数据产品中的数据。通过Iceberg目录与查询引擎上的Iceberg数据库 [6],为数据赋予结构化定义。最后,当Spark作业在Spark集群 [7]中运行时,数据产品正式投入运行。
与第三级相同,平台后端会自动处理所有集成工作,使配置的资源能够协同工作,形成一个统一且连贯的数据产品。
优化层级的另一个关键特征是联邦平台生态系统的出现。中央平台团队不再成为新功能的瓶颈,组织内其他团队可以直接参与平台后端的建设:
- 领域团队的工程师可以贡献领域特定的扩展功能,例如平台能力X(如专用的数据产品模板),使整个组织都能使用该功能 [8]。
- 安全、合规或数据治理等专门团队的工程师可以贡献平台能力,例如平台能力Y(如自动PII脱敏、细粒度访问策略或审计日志) [9]。
面向数据产品和数据网格的优化平台能减少开发者的上下文切换,管理整个数据产品生命周期,并构建一个贡献者生态系统。通过管理完整的数据产品生命周期,组织可以在底层技术演进时(如升级Iceberg或Spark版本、数据契约格式的重大变更等)执行数据产品的迁移,而无需每个团队都重新开发其数据产品。通过主动跟踪实际使用了哪些平台能力和哪些数据产品,团队可以清理未使用的数据产品并淘汰过时的平台功能,持续优化平台以满足组织需求。
数据网格成功所需的最低成熟度层级
鉴于这些不同的成熟度层级,成功实施数据网格所需的最低层级是什么?
图12:数据网格成功所需的最低成熟度层级,突出显示可扩展层级为最低要求。
临时层级本质上是混乱的。没有真正的平台,领域团队只能等待资源或自行构建解决方案。使用分散且未管理的工具无法构建出去中心化、互操作的数据网格。
虽然运营层级更加有序,但仍面临重大挑战。高认知负担和碎片化的开发者体验意味着团队仍需自行整合各个组件。这是专注于自动化单个技术配置但忽视整体开发者体验的组织常见的陷阱。复杂性和摩擦往往导致采用率低下,并继续出现影子IT。在仅投入标准化和自动化单个技术后,许多数据网格实践会卡在这个层级,因为对领域团队来说参与成本过高且过于复杂。
这使我们来到了面向数据产品和数据网格的可扩展平台。这是实现成功的最低门槛。在这一阶段,平台团队将从IT帮助台转型为专注于开发者体验并弥合平台鸿沟的产品团队。通过让开发者与数据产品的抽象层进行交互,平台消除了底层技术的复杂性,推动自愿采用并实现数据网格核心所需的去中心化所有权。
平台采用曲线
平台成熟度与用户采用率之间存在有趣的关联。在操作层及以下阶段,领导层必须通过政策和架构审查委员会强制要求使用平台来推动其采用。在大型组织中,工程师会绕过痛苦的平台工具,通过影子IT寻找阻力最小的路径。因此平台在采用上面临困难,平台本身过于复杂且难以使用。
只有当平台达到可扩展成熟度层级时,我们才开始看到采用率显著提升,因为使用平台比自行实现更简单(即"内在吸引力")。即便如此,采用率也不会一夜之间飙升。平台团队需要通过宣传推广和用户教育来推动采用。然而,可扩展层级是实现自愿采用成为可能的转折点,而自愿采用是成功数据网格的前提条件,因为数据网格需要被多个领域团队采纳。
图13:平台采用曲线,显示临时层级和操作层级采用率较低,而在可扩展层级采用率开始快速增长。
采用针对性投资策略
平台工程成熟度模型为数据网格旅程中的自助服务平台提供了指南。它使我们能够进行有针对性的投资以提升平台成熟度并推动采用。通过评估当前成熟度水平,我们可以识别造成最大摩擦的方面并投资改进。这种迭代方法能够提升平台整体成熟度,确保所有方面都得到妥善处理。
如上图所示,旅程很少会同步推进所有五个方面:
- 第一步:一个潜在的起点是所有五个方面都处于临时层级:临时技术、碎片化请求,且没有专职平台团队。
- 第二步:一个常见陷阱是团队仅推进技术层面,构建自助服务接口并自动化运维(第3级)。由于没有人宣传平台的易用性,采用率仍停留在第2级。同时存在构建无人需要的功能的风险,因为反馈收集在第1级仍处于临时状态。组织赋能和反馈收集需要立即优先处理。
- 第三步:以模型为指南,组织进行路线修正。团队不再增加更多技术特性,而是将下一轮投资重点转向滞后方面。他们转向平台即产品思维,收集可操作的使用洞察,通过宣传推广平台、与领域团队嵌入式合作、优化开发者体验来推动自愿采用。这使所有五个方面都达到可扩展层级,达到数据网格成功的最低要求。
- 第4步:在基础就位后,后续的投资周期将平台推向第4级,通过将能力集成到本地IDE和CLI中,使领域团队和专业团队能够参与贡献,并利用度量和反馈进行持续优化。
这只是一个示例场景,说明投资如何将自助式数据产品平台带入日益成熟的阶段。每个组织的背景可能不同,关注的重点也可能不同,这完全没问题。我们可以利用成熟度模型识别滞后环节,持续平衡人员、流程和技术之间的关系。
结论
构建面向数据产品和数据网格的自助式平台需要平衡多个方面。在技术层面,平台应显著降低认知负担,尽可能易于使用。同时,这并非纯粹的技术项目,因为我们希望人们能够自愿采用平台,而不是强制推动。
通过将平台工程成熟度模型作为导航工具,我们可以评估当前平台所处的位置,发现造成最大摩擦的环节,规划改进的小步骤并持续迭代。该模型使我们能够向利益相关者解释我们的进展、希望投资的优先事项以及投资的价值,从而获得支持和资金。
如果你正在思考自己旅程的起点,请从小处着手:将这个成熟度模型带入下一次平台或架构讨论中。绘制出当前能力所处的位置,识别出对领域团队造成最大摩擦的单一领域,并将下一轮投资聚焦于此。
最终目标是弥合平台鸿沟,从碎片化且强制性的工具链转向以数据产品和用户为中心的自助式平台,真正赋能团队通过数据网格、数据产品和数据契约取得成功。
在YouTube上观看演讲(20分钟)。
致谢
本文源于2026年Data Mesh Live大会的演讲。感谢大会观众的热情接待和鼓励反馈,感谢Data Mesh Live组织团队提供的机会。特别感谢Martin Fowler参加此次会议并提供直接促使我将演讲转化为文章的积极反馈,以及他的编辑指导和在此处的主持。我也非常感谢更广泛的Data Mesh社区提供的无数宝贵讨论和互动,这些启发和塑造了本文的工作,感谢CNCF平台工作组开发的平台工程成熟度模型,这是本导航工具的基础。最后,衷心感谢我的同事们的持续支持,以及我的家人始终如一的支持。
所有核心概念、叙述、想法和原始视觉设计均基于我自身的实践经验和专业知识创作。我使用了AI助手作为编辑和生产辅助工具:润色文本以提升清晰度和流畅度,并根据我最初的视觉草图协助编码SVG图表。
重大修订
2026年11月5日:发布