NBCUniversal’s Seamless Migration: Unlocking Scalable Analytics with Databricks

NBCUniversal的无缝迁移：借助Databricks实现可扩展分析 | Databricks博客

跳至主要内容

媒体与娱乐

2026年7月29日

NBCUniversal的无缝迁移：借助Databricks实现可扩展分析

将数据基础设施转化为竞争优势

作者：Kevin Hill、Ludwig Kuznia、Anil Joshi、Jay Mehta和Manojit Dan

摘要

• 30%成本降低：NBCUniversal通过从基于插槽的预订模型转向Databricks的专用作业计算，实现了显著的成本节约，使并行流水线能够独立扩展。结果，作业现在完成得更快，并且始终如一地满足SLA承诺。

• 统一的分析平台：通过迁移到Databricks，NBCUniversal解锁了大规模机器学习模型开发、实时分析和协作数据工程的高级功能。

• 合作伙伴主导的实施：EXL通过定制加速器实施了分阶段迁移策略，通过代码转换、数据迁移和自动化验证减少了人工操作并消除了人为错误。

作为全球领先的媒体和娱乐公司之一，NBCUniversal依靠数据在其全球广播、有线和流媒体网络上提供无与伦比的娱乐体验。随着内容分发对实时分析、复杂的数据流水线和高级机器学习的需求，公司的数据基础设施是支持整个产品组合决策的关键业务资产。

NBCUniversal在创新领域处于领先地位已有100年，认识到需要现代化其数据基础设施，以支持不断增长的内容生态系统，同时保持运营成本。随着数据量的增长和分析需求的演变，公司寻求一个更可扩展和集成的解决方案。现有基础设施虽然满足了核心分析需求，但也凸显了增强灵活性、提升高级工作负载性能以及优化计算支出以提高运营效率的机会。

“NBCUniversal一直在努力实现数据在公司各部门的运营化和更广泛访问，这需要一种新解决方案，让我们能够更快地工作，”NBCUniversal数据技术与产品高级副总裁Kevin Hill表示。“Databricks为我们提供了一种方法，让我们花更少时间构建，更多时间分析数据。”

当NBCUniversal开始现代化其数据平台时，目标是围绕重大内容发布、颁奖典礼和现场活动实现扩展的敏捷性，而无需过度配置。通过与EXL和Databricks合作，NBCUniversal迁移到了Databricks的专用作业计算，将分析和机器学习统一在一个平台上，同时将300名分析师一同引入。

一目了然的结果

• 通过专用作业计算降低30%的数据基础设施成本

• 300多名分析师顺利迁移到Databricks SQL

• 通过弹性扩展应对高流量事件，无需预留插槽造成浪费

• 通过MLflow和Lakeflow Jobs实现机器学习与分析的统一

挑战：平衡成本与性能

随着 NBCUniversal 不断创新，数据在营销、产品和内容等团队的组织决策中变得愈发关键。现有架构已无法有效管理快速增长的组织所需的数据量和查询需求。基于插槽的预订模型虽然允许组织预留大量插槽以支持并行工作负载，但导致了显著的计算成本和资源竞争。

“随着当今内容生态系统的快速演变，公司各业务伙伴需要更快地做出明智决策，”NBCUniversal 数据工程副总裁 Louie Kuznia 表示。“Databricks 提供了一种解决方案，使我们能够在不牺牲敏捷性或速度的前提下，推动 NBCUniversal 数据基础设施的现代化。”

随着成本考量的演变，以及对更灵活的高级用例（如机器学习）和更完善的数据血缘治理需求的提升，NBCUniversal 开始探索替代平台。

解决方案：Databricks 湖仓架构

NBCUniversal 与 Databricks 及全球咨询公司 EXL 合作，执行向 Databricks 数据智能平台的战略迁移。这一合作结合了 EXL 在迁移方面的深厚经验与 Databricks 的领先数据解决方案，构建了支持数据工程、机器学习和高级分析的现代化数据基础设施。

选择与 Databricks 合作带来了多项优势，包括增强的灵活性和数据工作负载的整体效率：

• 统一的分析平台：Databricks 为数据工程、数据科学、机器学习和商业智能工作负载提供单一平台，消除了维护多个专用工具的需要。

• 灵活的湖仓架构：Databricks 结合 DeltaLake 和 Apache Iceberg™，利用开源 Apache Spark™ 和湖仓架构（Databricks SQL），实现对结构化和非结构化数据的灵活处理。

• 高级分析能力：Databricks 在支持复杂分析（包括机器学习工作负载）方面表现突出，原生集成 MLflow 用于实验跟踪和模型版本管理。

• 精细的计算控制：Databricks 架构实现了对计算资源的更精细控制，每个数据管道在专用计算资源上运行，而非争夺共享插槽。

迁移策略：分阶段、由合作伙伴主导的方法

迁移到 Databricks 需要对数据结构进行转换、修改代码、调整数据格式，并仔细协调上下游依赖关系。EXL 与 Databricks 共同制定了一套全面的分阶段方法，在最小化运营中断的同时加速迁移进程。

第一阶段：评估现有环境

团队首先进行了全面的调研，对现有工作负载、表和代码库进行了清点，同时深入分析了它们的依赖关系。此评估阶段识别了需要迁移的组件，按优先级进行分类，并制定了成功标准。

第二阶段：设计目标架构

设计阶段的重点是将现有架构映射到 Databricks 的对应实现，同时优化成本和性能。

关键设计决策包括：

• 工作区架构：根据 Databricks Well-Architected Framework 设计工作区结构，将最佳实践支柱映射到 NBCUniversal 的组织架构和安全要求，构建可扩展、安全且面向未来的环境。

• 数据治理策略：将 Unity Catalog 作为核心治理层进行部署。

• 计算策略：根据每种工作负载的需求，定义作业集群配置、实例类型和自动扩展策略。

• 存储布局：通过 Delta Lake 表结构设计，结合适当的分区、聚类和预测性优化，自动维护高效文件布局、统计信息和存储结构，以实现大规模持续性能。

第三阶段：通过定制迁移工具验证概念

在全面迁移之前，EXL 使用 NBCU 工作负载的代表性子集执行了针对性的最小可行产品（MVP）。该试点阶段实现了双重目标：验证迁移方法，并开发定制自动化工具以加速整体迁移进程。

在 MVP 阶段，EXL 为 NBCU 环境构建了四个专有加速器：

• SQL 转换引擎：一种智能代码转换器，通过分析 SQL 语法自动将其转换为优化的 Spark SQL，处理方言差异、函数映射和性能调优。

• 编排迁移工具：解析现有 DAG 并将其重新生成为 Lakeflow Jobs，保留依赖关系和调度逻辑。

• 数据传输编排器：自动化流水线，根据表大小和更新频率选择最佳传输方式将数据迁移到 Delta Lake。

• 验证框架：全面的测试套件，通过比较源系统和目标系统之间的查询结果、行数和聚合统计信息进行验证。

这些加速器将原本需要数月的手动工作转化为带有内置质量检查的自动化、可重复流程。

第四阶段：按战略波次迁移

在验证加速器并最终确定目标架构后，团队按照精心设计的波次顺序执行迁移。他们没有同时迁移所有工作负载，而是采用基于风险的策略，优先处理高价值且复杂度较低的管道。

每个迁移波次遵循一致的流程：

• 工作负载选择：识别一组相关联的表和管道作为迁移对象。

• 自动化代码生成：使用 SQL 转换引擎转换查询，使用编排迁移工具重建工作流。

• 数据同步：在保留现有基础设施增量更新的同时迁移历史数据。

• 质量保证：运行验证框架确保数据准确性和完整性。

这种迭代方法使团队能够在每波迁移中保持业务连续性，并通过每次波次优化流程，将学到的经验应用到后续迁移中。

第五阶段：通过双平台运行验证

切换到 Databricks 之前的最终阶段是通过双平台并行运行进行长期验证。数周时间内，NBCUniversal 同时运行两套管道，在现有平台和 Databricks 上执行相同转换并对比输出结果。

这种并行运行实现了多项关键功能：

• 生产环境验证：在真实生产数据量条件下，确保与Databricks生成的输出结果保持一致。

• 性能基准测试：在Databricks环境中测量实际执行时间和成本，与历史性能进行对比。

• 利益相关者信心：为业务用户和下游消费者提供实证证据，证明迁移过程保留了数据质量和可用性。

• 切换规划：在完全退役旧平台之前，识别需要额外关注的边缘案例或特殊场景。

只有在所有验证指标均取得一致结果后，NBCUniversal才进行最终切换，按流水线逐步退役现有工作负载，对新平台充满信心。

业务影响：30%成本降低与战略收益

NBCUniversal迁移成果显著且可量化：

• 计算成本降低："通过转向Databricks的作业专用计算资源，NBCUniversal实现了整体数据基础设施成本30%的降低。每个流水线现在都运行在专属计算资源上，可在高峰期独立扩展，在低需求时段自动缩减。" ——NBCUniversal数据工程部副总裁Ludwig Kuznia

• 操作灵活性提升：并行执行模型使业务需求响应更加敏捷。在已知的高流量事件（如重大内容发布或颁奖典礼）期间，NBCUniversal可动态扩展作业集群容量，而不会影响其他工作负载或造成预留但未充分利用的资源浪费。

• 统一分析能力：除成本降低外，迁移还解锁了新功能。通过MLflow，NBCUniversal数据工程团队获得了统一的机器学习操作能力，实现：实验追踪与模型版本管理 从训练到生产的简化机器学习生命周期 通过Lakeflow Jobs实现的自动化工作流标准化

• 数据文化增强：迁移推动了更广泛的组织变革。通过简化基础设施管理并减少运营负担，NBCUniversal创造了更敏捷、协作和数据驱动的文化环境，使数据工程团队与分析团队能够专注于业务问题而非基础设施限制。

• 分析师入职便捷性：得益于Databricks SQL的完整ANSI SQL合规性以及直观的平台，迁移使约300名分析师能够快速舒适地过渡到Databricks，平台统一工作区简化了查询编写、仪表板创建和分析流程。

结论：从成本中心到战略资产

NBCUniversal迁移到Databricks证明了战略性技术决策如何转变数据基础设施，释放更高效率和竞争优势。通过与EXL合作并采用Databricks的湖仓架构，NBCUniversal不仅降低了运营成本，还打造了一个更敏捷统一的平台，使团队能够更快实验、更早推出数据产品，并更快响应受众和广告商需求变化。

新平台使NBCUniversal能够快速迭代受众洞察，近乎实时地优化广告产品，并支持以前难以实施或成本过高的新型变现模式。这种低成本、更快的决策周期，以及统一的数据、分析和机器学习环境，使数据平台成为差异化优势，使NBCUniversal能够比竞争对手更快地理解、服务并扩大其受众群体。

入门指南

准备好现代化您的数据基础设施，并释放类似的成本节约和分析能力吗？

联系Databricks：

• 与Databricks交付解决方案架构师（DSAs）讨论您的用例。在整个迁移过程中，NBCUniversal的DSA与EXL紧密合作，制定符合客户优先事项的策略。DSAs能加速实施，提前发现障碍，并协调跨团队合作——从评估和架构到执行和验证，提供必要的技术监督以降低风险并加快交付。联系您的Databricks账户团队，了解DSA如何扩展您的迁移团队。

• 访问EXL官网，了解他们的解决方案套件，包括EXLdata.ai。

• 探索由合作伙伴主导的迁移选项，加速您的转型进程

• 从评估当前环境开始

订阅最新文章

订阅我们的博客，将最新文章发送到您的邮箱。

注册

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"