Google Cloud Blog

From OLAP to OLTP: How Copel Simplified Reverse ETL Using BigQuery's Native Export to AlloyDB

7.1内容质量
From OLAP to OLTP: How Copel Simplified Reverse ETL Using BigQuery's Native Export to AlloyDB

TL;DR · AI 摘要

Reverse ETL: BigQuery exports to AlloyDB Google Cloud Blog Data Analytics From OLAP to OLTP: How Copel Simplified Revers...

核心要点

  • 主题聚焦:From OLAP to OLTP: How Copel Simplified Reverse
  • 来源:Google Cloud Blog,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#后端#云计算#安全
打开原文

反向ETL:从BigQuery导出到AlloyDB | Google Cloud博客

数据分析

从OLAP到OLTP:Copel如何利用BigQuery原生导出到AlloyDB简化反向ETL

2026年11月13日

##### Jelson A. Cordeiro

解决方案与云架构师,Copel

##### Nick Orlove

产品经理,BigQuery

##### 今天试用Gemini

进入职场AI的入口

立即试用

连接分析系统(OLAP)和事务数据库(OLTP)之间的差距众所周知非常复杂。传统上,同步这两个系统之间的数据(通常称为反向ETL(提取、转换、加载))需要大量中间件、暂存存储桶和复杂的编排,尤其是在企业级规模下。

我们宣布BigQuery导出到AlloyDB的通用可用性(GA),使数据工程团队能够使用单个声明性SQL语句将数据从BigQuery导出到AlloyDB。这种方法完全消除了对复杂ETL中间件的需求。

为了展示此功能的优势,我们分享了巴西电力供应商Copel如何通过迁移到高性能内置反向ETL,消除了一个巨大的编排瓶颈,并扩展其智能电表遥测数据的案例。

扩展智能电表遥测数据的挑战

在Copel,管理数百万智能电表的遥测数据是一项关键任务。这些数据持续流式传输并在BigQuery的分析金层中汇总。然而,为了支持Copel的"行动系统"——低延迟客户支持仪表板、移动应用和运营计费系统——必须将这些丰富数据集持续同步回其高性能事务数据库AlloyDB for PostgreSQL。

直到最近,Copel使用Google的Apache Airflow托管服务中的复杂DAG来编排这种反向ETL架构。然而,在从BigQuery到AlloyDB丰富和导出数亿条记录的过程中,存在多个脆弱的中间阶段:

图1:Copel的遗留多阶段架构需要Cloud Storage文件转储和顺序gCloud脚本。

  • BigQuery运行丰富和提取查询,将SQL结果转储到Google Cloud Storage存储桶内的数十个碎片化CSV文件中。
  • Apache Airflow执行SQL在AlloyDB中创建临时表,防止生产表的写锁定或数据损坏。
  • 顺序gCloud脚本遍历Cloud Storage CSV文件,将数据加载到相应的AlloyDB集群和分片中。
  • 最后,一个SQL事务块安全地删除生产表并将临时表重命名为生产表。

为了运行这种遗留架构,Copel团队需要维护管道,仔细管理文件暂存,跨多个服务执行复杂的IAM模拟,并持续监控端到端系统健康状况。

突破:内置的反向ETL

通过BigQuery的EXPORT DATA到AlloyDB功能,Copel能够用单个优雅的SQL语句取代整个多步骤管道基础设施。

现在,BigQuery导出通过高度优化的并行连接直接与AlloyDB实例通信——无需Cloud Storage中的暂存文件、gCloud脚本或管理临时表!

图2:新架构显示BigQuery和AlloyDB之间的直接并行反向ETL连接。

以下是新反向ETL过程在代码中的简单示例:

加载中...

EXPORT DATA WITH CONNECTION project_id.location.connection_id OPTIONS( format='ALLOYDB', uri="https://alloydb.googleapis.com/v1/projects/my-project/locations/my-location/clusters/my-cluster/instances/my-instance", alloydb_options="""{ "table": "operational_telemetry" }""" ) AS SELECT meter_id, reading_timestamp, -- On-the-fly serialization to JSONB TO_JSON(hourly_metrics) AS hourly_metrics_jsonb FROM project_id.dataset_id.smart_meter_telemetry;

导出到 AlloyDB 的 BigQuery 值在导出过程中与 AlloyDB 的列完美映射,使得嵌套结构在 PostgreSQL 端完全可查询且可建立索引。

评估性能和可扩展性

为了验证这种新架构,Copel 执行了两项大规模的反向 ETL 基准测试:比较较小的增量反向 ETL 导出与更大规模的全表反向 ETL 导出在性能和可扩展性方面的表现。

性能测试结果超出了所有预期:

指标

测试 1:增量导出

测试 2:全表导出

导出总行数

18,145,589 行

207,484,577 行

逻辑数据大小

2.32 GB

188.87 GB

导出吞吐量

约 310 万行/分钟

约 420 万行/分钟

AlloyDB 规格

N2(16 个 vCPU,128 GB 内存)

CPU 利用率

稳定在约 85%

关于数据摄入的提示:在复杂的 JSONB 远程监测字段上实现约 420 万行/分钟的导出吞吐量是一项卓越的技术成就。这突显了 BigQuery 的分布式处理引擎与 AlloyDB 高级存储层之间的底层优化。

核心收获和优势

通过采用这种声明式 SQL 方法,Copel 成功删除了数十行复杂的脚本和自定义错误处理代码块。他们的 Airflow DAG 现在仅包含一个简化后的 BigQueryInsertJobOperator 任务,用于执行导出查询。

这种内置方法带来了多项核心业务优势:

  • 直接成本降低:通过完全绕过 Cloud Storage,消除了中转存储成本以及相关的 API 读写操作费用。
  • 增强的数据安全性:数据直接从 BigQuery 通过 Google 安全的内部网络传输到 AlloyDB,而不会被转储为可读的 CSV 文件。
  • 几乎零维护:现在管道错误被限制在单个 SQL 语句中,使故障排除和日志记录大大简化。
  • 大规模分布式写入:通过利用 BigQuery 的大规模并行处理与 AlloyDB 优化的 PostgreSQL 写入性能,直接导出实现了每分钟超过 400 万条记录的写入速度。

现在,数据工程团队无需花费宝贵的时间监控管道故障和中间存储缓冲区,而是可以专注于真正重要的事情:为客户提供智能分析和优质体验。

今天就开始:现代化你的反向 ETL

现在 BigQuery 导出到 AlloyDB 的功能已全面上线,现在是简化数据架构的最佳时机。如果你的团队在将 BigQuery 数据推送到下游 OLTP 数据库时遇到复杂、多阶段的管道难题,我们邀请你今天就尝试 AlloyDB、Bigtable、Spanner 或 Pub/Sub 的内置导出功能。

发布类别

  • 数据分析
  • BigQuery
  • 数据库