Google Cloud 在 BigQuery 中引入跨引擎 Iceberg 支持

Google Cloud 在 BigQuery 中引入跨引擎 Iceberg 支持 - InfoQ

[BT](https://www.infoq.com/int/bt/ "bt")

InfoQ 软件架构师通讯

每月为您呈现作为架构师或有志于成为架构师所需了解的重要内容。

查看示例

输入您的电子邮件地址

选择您的国家 - [x] 我同意 InfoQ.com 根据此 隐私声明 处理我的数据。

我们保护您的隐私。

关闭

直播网络研讨会与问答：重新思考应用安全：为什么编译器级别的安全改变了架构对话（2026年6月11日）立即报名

关闭

切换导航栏

促进专业软件开发中知识与创新的传播

英文版

• 英文版
• 中文版
• 日文版
• 法文版

[为 InfoQ 撰稿](https://www.infoq.com/write-for-infoq/ "为 InfoQ 撰稿")

搜索

注册登录

解锁完整的 InfoQ 体验

通过登录解锁完整的 InfoQ 体验！关注您喜爱的作者和主题，参与内容互动，并下载独家资源。

登录

或者

还没有 InfoQ 账户？

注册

• 关注对您重要的主题和同行即时接收最新洞察和趋势提醒。
• 快速获取免费学习资源小册子、带文字稿的视频和培训材料。
• 保存文章，随时阅读收藏文章以便随时阅读。

Logo - 返回首页

新闻文章演示播客指南

主题

[开发](https://www.infoq.com/development/ "开发")

• [Java](https://www.infoq.com/java/ "Java")
• [Kotlin](https://www.infoq.com/kotlin/ "Kotlin")
• [.Net](https://www.infoq.com/dotnet/ ".Net")
• [C#](https://www.infoq.com/c_sharp/ "C#")
• [Swift](https://www.infoq.com/swift/ "Swift")
• [Go](https://www.infoq.com/golang/ "Go")
• [Rust](https://www.infoq.com/rust/ "Rust")
• [JavaScript](https://www.infoq.com/javascript/ "JavaScript")

开发领域精选

• #### 从 VR 到平面屏幕：弥合输入与沉浸感差距

Dany Lepage 讨论了将一款热门 VR 游戏移植到七个非 VR 平台的架构历程。他解释了团队如何解决跨平台进度、多样化输入范式以及在 Steam、iOS 和 PlayStation 上保持发布速度的挑战。除了技术之外，他还分享了将沉浸式社交存在感转化为二维屏幕时关于“产品契合度”差距的坦诚经验。


全部开发内容 关注该主题

[架构与设计](https://www.infoq.com/architecture-design/ "架构与设计")

• [架构](https://www.infoq.com/architecture/ "架构")
• [企业架构](https://www.infoq.com/enterprise-architecture/ "企业架构")
• [可扩展性/性能](https://www.infoq.com/performance-scalability/ "可扩展性/性能")
• [设计](https://www.infoq.com/design/ "设计")
• [案例研究](https://www.infoq.com/Case_Study/ "案例研究")
• [微服务](https://www.infoq.com/microservices/ "微服务")
• [服务网格](https://www.infoq.com/servicemesh/ "服务网格")
• [模式](https://www.infoq.com/DesignPattern/ "模式")
• [安全](https://www.infoq.com/Security/ "安全")

架构与设计领域精选

• #### 上下文是代理架构革命的关键：与 Baruch Sadogursky 的对话

Michael Stiefel 与 Baruch Sadogursky 探讨了代理 AI 时代下的软件架构。大语言模型（LLM）可以作为推理机器，尽管具有随机性，但能够解释人类的模糊性。通过适当的严谨上下文工件来控制 LLM 的推理过程，软件规范可以成为真理之源，而代码则成为可丢弃的中间语言。


全部架构与设计内容 关注该主题

[AI 基础设施](https://www.infoq.com/ai-ml-data-eng/ "AI 基础设施")

• [大数据](https://www.infoq.com/bigdata/ "Big Data")
• [机器学习](https://www.infoq.com/machinelearning/ "Machine Learning")
• [NoSQL](https://www.infoq.com/nosql/ "NoSQL")
• [数据库](https://www.infoq.com/database/ "Database")
• [数据分析](https://www.infoq.com/data-analytics/ "Data Analytics")
• [流处理](https://www.infoq.com/streaming/ "Streaming")

AI、ML 和数据工程精选

• #### AI 原生工程

Ian Thomas 分享了在 Meta 的 Reality Labs 中拥抱 AI 原生工程的案例研究。他解释了“评估与成长”框架，这是一个成熟度模型，旨在帮助团队从手动劳动转向 AI 驱动的创新。他讨论了实际成果——包括在创纪录的时间内达到 90% 的代码覆盖率——同时回应了高级工程师的关切，例如“代码混乱”、“评审疲劳”以及如何维持质量。


全部关于 ai-ml-data-eng 关注话题

[文化与方法](https://www.infoq.com/culture-methods/ "Culture & Methods")

• [敏捷开发](https://www.infoq.com/agile/ "Agile")
• [多样性](https://www.infoq.com/diversity/ "Diversity")
• [领导力](https://www.infoq.com/leadership/ "Leadership")
• [精益/看板](https://www.infoq.com/lean/ "Lean/Kanban")
• [个人成长](https://www.infoq.com/personal-growth/ "Personal Growth")
• [Scrum](https://www.infoq.com/scrum/ "Scrum")
• [社会生态组织](https://www.infoq.com/sociocracy/ "Sociocracy")
• [软件工艺](https://www.infoq.com/software_craftsmanship/ "Software Craftmanship")
• [团队协作](https://www.infoq.com/team-collaboration/ "Team Collaboration")
• [测试](https://www.infoq.com/testing/ "Testing")
• [用户体验](https://www.infoq.com/ux/ "UX")

文化与方法精选

• #### 云原生工程师的产品思维

Stéphane Di Cesare 和 Cat Morris 分享了工程师如何通过产品发现，从“成本中心”转变为价值驱动者。他们解释了“双钻模型”及其为何识别用户问题必须先于构建解决方案。学习如何选择正确的指标，通过观察法建立客户同理心，并利用业务背景最大化技术工作的影响力。


全部关于 culture-methods 关注话题

DevOps

• [基础设施](https://www.infoq.com/infrastructure/ "Infrastructure")
• [持续交付](https://www.infoq.com/continuous_delivery/ "Continuous Delivery")
• [自动化](https://www.infoq.com/automation/ "Automation")
• [容器](https://www.infoq.com/containers/ "Containers")
• [云](https://www.infoq.com/cloud-computing/ "Cloud")
• [可观测性](https://www.infoq.com/observability/ "Observability")

DevOps 精选

• #### A²I² 的讽刺

J. Paul Reed 讨论了“自动化讽刺”——一个已有 40 年历史的概念，如今因 AI 而被放大。他解释了先进系统往往使人类操作员变得更加关键，而不是更不重要，同时也在削弱干预所需的技能。他分享了“AI 驱动”的真实事件故事，解释为什么过度依赖 AI 会使恢复时间翻倍，以及如何保持弹性。


全部关于 devops 关注话题

[活动](https://events.infoq.com/ "Events")

有用的链接

• [关于 InfoQ](https://www.infoq.com/about-infoq "About InfoQ")
• [InfoQ 编辑团队](https://www.infoq.com/infoq-editors "InfoQ Editors")
• [为 InfoQ 写作](https://www.infoq.com/write-for-infoq "Write for InfoQ")
• [关于 C4Media](https://c4media.com/ "About C4Media")
• [多样性](https://c4media.com/diversity "Diversity")

选择您的语言

• [En](https://www.infoq.com/news/2026/05/google-cross-engine-iceberg/# "InfoQ English")
• 中文
• 日本
• Fr


[InfoQ 首页](https://www.infoq.com/ "InfoQ 首页")[新闻](https://www.infoq.com/news "新闻")Google Cloud 在 BigQuery 中引入跨引擎 Iceberg 支持

[云](https://www.infoq.com/Cloud/ "云")

QCon 旧金山（11月16-20日）：深入的技术课程。改变你思维方式的同行对话。

Google Cloud 在 BigQuery 中引入跨引擎 Iceberg 支持

2026年5月23日，阅读时长 3 分钟

作者：

• Renato Losio

关注云专家 | AWS 数据英雄

#### 为 InfoQ 撰稿

满足你的好奇心。帮助全球超过 55 万高级开发人员每月保持领先。联系我们

登录以收听本文

音频已准备就绪播放

音频 2

0:00 0:00

正常 1.25x 1.5x

点赞

• 阅读列表

在上个月的 Apache Iceberg Summit 上，Google 宣布了 BigQuery 中 Apache Iceberg 的新互操作性功能。无服务器 Iceberg REST catalog 的预览版允许团队在 BigQuery 和 Spark、Flink、Trino 等引擎中创建、更新和查询相同的 Apache Iceberg 表，而无需复制数据。

该预览版允许多个工具处理同一数据集，而无需复制数据或依赖专有格式。云提供商还引入了对元数据、表维护和同步任务的托管支持，这些任务通常在 Iceberg 部署中手动处理。Google 高级产品经理 Yuriy Zhovtobryukh 和 Google 高级产品营销经理 Angela Soares 解释了其重要性：

如果你现在正在构建一个湖仓（lakehouse），你可能正在使用 Apache Iceberg，它在需要支持多个计算引擎（如 Spark 和 BigQuery）访问相同数据用于不同工作负载的数据平台团队中广受欢迎。

在最近的 Next '26 大会上，Google 将 Iceberg 互操作性扩展到跨云湖仓，支持在 AWS、Azure、Databricks 和 Snowflake 以及 AI 工作流中查询 Iceberg catalog。根据 Google 的说法，总体目标是使组织能够在开放格式中保存数据，同时在相同数据集上使用不同的处理和分析工具。

Google 认为，许多使用 Apache Iceberg 的团队相比完全托管的数据平台仍面临更高的成本和运营复杂性，特别是在流数据、复制管道和多工具治理方面。为了解决这个问题，Google 正在扩展其 BigQuery 基础设施以支持 Iceberg 表，包括托管元数据、自动表维护、事务和变更数据复制。Zhovtobryukh 和 Soares 补充道：

以前，构建湖仓的客户在 Google 管理的 Iceberg REST catalog 中的 Iceberg 表和由 BigQuery 管理的表之间做出选择，这取决于他们的主要 ETL 引擎。这意味着依赖 Apache Spark 进行 ETL 到 Iceberg REST Catalog 表的客户无法通过 BigQuery 写入或使用其存储管理功能。

预览版还包含集中式的表访问控制，允许在查询引擎之间一致地管理权限。借助最新的公告，Google Cloud 现在支持在 AWS 和 Azure 上查询 Iceberg 数据，与 Databricks 和 Snowflake 等外部平台的互操作性，以及与非结构化数据和 AI 工作流的集成。

BigQuery ObjectRefs 现已正式可用，使团队能够将结构化的 Iceberg 数据与存储在 Cloud Storage 中的非结构化文件结合，用于多模态分析和 AI 工作流。此外，Knowledge Catalog（前身为 Dataplex）作为一个目前处于预览阶段的治理层，负责跨系统的元数据、血缘关系和访问控制管理。

从业者讨论了这种集成如何消除 Iceberg 采用中的“隐性成本”。David Colbert 评论道：

团队对 Iceberg/Delta 的功能感到兴奋，但在压缩、元数据管理和编排方面很快遇到摩擦。目录这一点至关重要。开放格式解决了存储可移植性问题，但控制平面的选择决定了长期的灵活性。

回顾 Next '26 的公告，Precious Pendo 写道：

Google 赌的是，企业 AI 价值将归属于掌控数据推理层的人，而不仅仅是存储层。AWS 和 Azure 向你收取计算和存储费用。Google 希望向你收取上下文和智能的费用。

Google Cloud 并不是唯一关注 Iceberg 工作负载的提供商，AWS 分析服务 如 EMR、Glue、Athena 和 Redshift 提供了对 Iceberg 的原生支持。在讨论 Apache Iceberg 如何改变现代数据湖 时，Red Oak Strategic 的云工程师 Shashank Muthuraj 写道：

Apache Iceberg 从 Netflix 工程项目迅速发展为不到七年时间里开放数据湖仓架构无可争议的标准。其技术优势——ACID 事务、隐藏分区、时间旅行和引擎独立性——令人信服，但真正的故事是前所未有的行业共识。

尽管 BigQuery 中的核心托管 Iceberg 表支持现已正式可用，但 Iceberg Summit 2026 上宣布的更广泛的开放互操作性和 REST 目录功能仍处于预览阶段。

作者简介

#### Renato Losio

Renato 拥有丰富的云架构师、技术负责人和云服务专家经验。目前他居住在柏林，远程担任首席云架构师。他的主要兴趣领域包括云服务和关系型数据库。他是 InfoQ 的编辑，也是公认的 AWS Data Hero。您可以通过 LinkedIn 与他联系。

显示更多 显示较少

#### 此内容属于 Cloud 主题

关注主题

##### 相关主题：

• 架构与设计### 架构与设计

关注者：10241

关注主题

• 人工智能、机器学习与数据工程### 人工智能、机器学习与数据工程

关注者：5921

关注主题

• Google BigQuery### Google BigQuery

关注者：11

关注主题

• 云### 云

关注者：2137

关注主题

• 数据湖### 数据湖

关注者：18

关注主题

• Google Cloud### Google Cloud

关注者：34

关注主题

• Apache Iceberg### Apache Iceberg

关注者：5

关注主题

• 数据可移植性### 数据可移植性

关注者：0

关注主题

• 数据目录### 数据目录

关注者：8

关注主题

* #### 相关编辑推荐

• ##### 从分页到事后分析：Google Cloud SRE 使用 Gemini CLI 进行故障响应

• ##### AWS 和 Google Cloud 预览安全多云网络

• ##### Google Cloud 推出托管 MCP 支持

• ##### Google Cloud 引入 Bigtable 分层存储

• ##### Google Cloud KMS 发布后量子 KEM 支持以应对“现在收集，稍后解密”威胁

* #### 相关赞助商

• ##### AI Agent Swarm 模式（InfoQ 网络研讨会）- 立即观看

• ##### 面向自主可靠性的架构设计：将 AI 嵌入可观测性堆栈（2026年6月25日线上网络研讨会）——立即报名

• ##### 现代移动应用安全中的实时威胁监控与分析的重要性

• ##### 失败设计：如何在云中断期间保障数据访问

• ##### 重新思考应用安全：为什么编译器级别的安全改变了架构讨论（2026年6月11日线上网络研讨会）——立即报名

* #### 相关赞助商


• 2026年6月11日，上午10点 EDT

##### 重新思考应用安全：为什么编译器级别的安全改变了架构讨论

演讲嘉宾：Anton Baranenko — Guardsquare 产品负责人

由 GUARDSQUARE 赞助 立即报名

相关内容

• ##### Cloudflare 完善其代理基础设施堆栈，推出浏览器运行时重建和六层平台

2026年5月22日

• ##### Cloudflare 推出动态工作流，为每个租户和每个代理的代码带来持久化执行能力

2026年5月9日

• ##### Cloudflare 宣布 Agent Memory，一种用于 AI 代理的托管持久内存服务

2026年4月30日

• ##### AWS Interconnect 正式发布，支持托管多云和最后一公里连接

2026年4月29日

• 图标##### 面向云原生工程师的产品思维

2026年5月18日 

• ##### Google Cloud 引入 Agents CLI 以简化 AI 代理开发生命周期

2026年4月28日

• ##### 本地优先 AI 推理：一种成本效益高的文档处理云架构模式

2026年5月11日 

• ##### Cloudflare 优化边缘堆栈以适应高核心 CPU 而非大缓存

2026年4月25日

• ##### 在 Kubernetes 上保护自主 AI 代理：信任边界、密钥管理和可观测性，适用于新型云工作负载

2026年5月1日 

相关赞助商

• #### 为什么 API 无法信任客户端——以及如何弥合差距

现代应用程序依赖于 API，但无法信任运行在敌对环境中的客户端。本报告展示了如何通过将完整性信号传递到后端安全决策中，来弥合客户端保护与服务器端 API 信任之间的差距。

• #### 客户端风险的崛起与信任缺口

TrendCandy 的一项全球调查显示了为什么传统的操作系统级防御无法应对日益增长的移动应用威胁。了解客户端风险、API 滥用、AI 生成代码以及快速发布周期是如何驱动漏洞的——以及多层次安全和应用认证如何恢复信任。

• 赞助商


相关内容

• 图标##### 如何构建一个交易所：在云中实现亚毫秒响应时间和 24/7 的正常运行时间

2026年4月23日 

• ##### 当云区域发生故障时：重新思考地缘政治不稳定世界中的高可用性

2026年4月22日 

• ##### 云原生银行的事件驱动模式：从成功与失败中学到的经验

2026年3月31日 

• ##### 防止数据外泄：在 Google Cloud Platform 中大规模实施 VPC 服务控制的实践

2026年1月19日 

• 图标##### 像侦探一样思考：解决云基础设施之谜

2026年1月5日 

• 图标##### 扩展云和分布式应用：来自美国排名第一的银行门户 chase.com 的经验与策略

2025年12月17日 

**InfoQ** 订阅

每周二发送的 InfoQ 上周内容精选。加入超过 250,000 名高级开发者的社区。查看示例

输入您的电子邮件地址

选择您的国家 - [x] 我同意 InfoQ.com 根据此隐私声明处理我的数据。

我们保护您的隐私。

• 开发

• ##### [Pip 26.1 引入依赖冷却机制和实验性锁定文件支持以对抗供应链攻击](https://www.infoq.com/news/2026/05/pip-261-dependency-cooldowns/ "Pip 26.1 Ships Dependency Cooldowns and Experimental Lockfile Support to Combat Supply Chain Attacks")

• ##### [Cloudflare 和 Stripe 允许 AI 代理创建账户、购买域名并部署到生产环境](https://www.infoq.com/news/2026/05/cloudflare-stripe-agent-commerce/ "Cloudflare and Stripe Let AI Agents Create Accounts, Buy Domains, and Deploy to Production")

• ##### [Google 推出 Cloud Fraud Defense 作为 reCAPTCHA 的继任者](https://www.infoq.com/news/2026/05/cloud-fraud-defense-recaptcha/ "Google Introduces Cloud Fraud Defense as Successor to reCAPTCHA")

• 架构与设计

• ##### [Uber 使用实时信号和列表排序提升餐厅推荐效果](https://www.infoq.com/news/2026/05/uber-eats-ranking-system/ "Uber Improves Restaurant Recommendations Using Real-Time Signals and Listwise Ranking")

• ##### [面向大规模工程支持的多智能体系统设计：来自 Grab 的案例研究](https://www.infoq.com/news/2026/05/grab-multi-agent-support-system/ "Designing a Multi-Agent System for Engineering Support at Scale: a Case Study from Grab")

• ##### [OpenAI 描述了用于大规模低延迟语音 AI 的 WebRTC 架构](https://www.infoq.com/news/2026/05/openai-voice-ai-scale/ "OpenAI Outlines WebRTC Architecture for Low-Latency Voice AI at Scale")

• 文化与方法

• ##### [使用 Golden Bricks 实现平台工程以实现快速顺畅交付](https://www.infoq.com/news/2026/05/platform-golden-bricks/ "How Platform Engineering Using Golden Bricks Can Enable Fast and Smooth Delivery")

• ##### [云原生工程师的产品思维](https://www.infoq.com/presentations/product-cloud-native/ "Product Thinking for Cloud Native Engineers")

• ##### [加速 Zoox 的 LLM 驱动开发者生产力](https://www.infoq.com/presentations/ai-software-development/ "Accelerating LLM-Driven Developer Productivity at Zoox")

• 人工智能、机器学习与数据工程

• ##### [InfoQ 推出面向高级软件从业者的在线 AI 工程训练营与认证](https://www.infoq.com/news/2026/05/ai-engineering-certification-pro/ "InfoQ Launches Online AI Engineering Cohort and Certification for Senior Software Practitioners")

• ##### [xAI 发布 Grok Skills 并更新工具调用响应 API](https://www.infoq.com/news/2026/05/xai-grok-skills/ "xAI Releases Grok Skills and Updates Tool Calling Responses API")

• ##### [AI 原生工程](https://www.infoq.com/presentations/ai-native-engineering/ "AI Native Engineering")

• DevOps

• ##### [Discord 围绕自动化重建数据库操作以管理大规模 ScyllaDB](https://www.infoq.com/news/2026/05/discord-scylladb-automation/ "Discord Rebuilds Database Operations Around Automation to Manage ScyllaDB at Massive Scale")

• ##### [A^2 I^2 的讽刺](https://www.infoq.com/presentations/automation-incidents-ai/ "The Ironies of A^2 I^2")

• ##### [OpenTofu 1.12：Terraform 从未发布的功能](https://www.infoq.com/news/2026/05/opentofu-release-terraform/ "OpenTofu 1.12: The Feature Terraform Never Shipped")

**InfoQ** 通讯

每周二发送的 InfoQ 上周内容摘要。加入一个由超过 250,000 名高级开发人员组成的社区。查看示例

• 快速了解各种创新者和早期采用者技术上发布的内容
• 学习那些你不知道但其实应该知道的知识
• 跟踪你感兴趣话题的最新动态

输入您的电子邮件地址

选择您的国家 - [x] 我同意 InfoQ.com 按此 隐私声明 中所述处理我的数据。

我们保护您的隐私。

**在线 InfoQ 认证项目** 面向高级工程师和架构师的训练营 * **专注于架构** 与 Luca Mezzalira | 6 月 10 日 * **专注于 AI 工程** 与 Hien Luu | 7 月 25 日 带来你在工作中遇到的真实架构或 AI 工程挑战。在 5 周内与来自其他公司的资深同行和经验丰富的引导者一起压力测试你的方法。探索即将推出的训练营。**立即注册。**

[首页](https://www.infoq.com/ "Home")[创建账户](https://www.infoq.com/reginit.action "Create account")登录[QCon 会议](http://qconferences.com/ "QCon Conferences")活动[为 InfoQ 撰稿](https://www.infoq.com/write-for-infoq/ "Write for InfoQ")[InfoQ 编辑团队](https://www.infoq.com/infoq-editors/ "InfoQ Editors")[关于 InfoQ](https://www.infoq.com/about-infoq/ "About InfoQ")[关于 C4Media](https://c4media.com/ "About C4Media")[媒体包](https://get.infoq.com/infoq-mediakit/ "Media Kit")[InfoQ 开发者营销博客](https://devmarketing.c4media.com/?utm_source=infoq "InfoQ Developer Marketing Blog")[多样性](https://c4media.com/diversity "Diversity")

#### 活动

• ##### QCon AI 波士顿

2026年6月1-2日

• ##### 在线 InfoQ 架构认证

2026年6月10日

• ##### 在线 InfoQ AI 工程认证

2026年7月25日

• ##### QCon 旧金山

2026年11月16-20日

#### 关注我们

Youtube 232K 关注者LinkedIn 26K 关注者Instagram 新RSS 19K 读者X 57.1K 关注者Facebook 21K 点赞Bluesky 新

#### 保持关注

InfoQ 播客工程文化播客软件架构师简报

一般反馈 [feedback@infoq.com](mailto:feedback@infoq.com) 广告 [sales@infoq.com](mailto:sales@infoq.com) 编辑部 [editors@infoq.com](mailto:editors@infoq.com) 市场营销 [marketing@infoq.com](mailto:marketing@infoq.com)

InfoQ.com 及所有内容版权归 © 2006-2026 C4Media Inc.

隐私政策, 条款与条件, Cookie 政策

关闭

[BT](https://www.infoq.com/int/bt/ "bt")