Semantic aggregation over millions of rows in BigQuery with AI.AGG

TL;DR · AI 摘要
Google Cloud推出AI.AGG,通过多级批处理架构实现BigQuery中大规模文本数据的语义聚合,解决LLM上下文窗口限制问题。
核心要点
- AI.AGG通过动态分批和并行推理处理百万级数据行
- 使用Gemini模型进行递归合成生成最终聚合结果
- 适用于企业级语义分析和日志处理场景
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- AI.AGG架构
- 多级批处理
- 行级验证
- 动态分批
- 并行推理
- 递归合成
- 企业应用
- 日志分析
- 客户反馈处理
- 诊断报告聚合
金句 / Highlights
值得收藏与分享的关键句。
AI.AGG通过递归合成解决LLM上下文窗口限制,可处理百万级数据行
传统方案需构建复杂map-reduce管道,AI.AGG简化为单条SQL查询
Vertex AI执行中间摘要生成,最终聚合结果符合原始SQL GROUP BY指令
使用 BigQuery 和 AI.AGG 进行语义数据聚合 | Google Cloud 博客
数据分析
在 BigQuery 中利用 AI.AGG 对数百万行数据进行语义聚合
2026年11月6日
##### Pramod Niralakeri
战略云工程师
##### Shruti Malgatti
数据领域云迁移顾问
##### 今天体验 Gemini
职场人工智能的入口
立即体验
十多年以来,BigQuery 帮助建立了结构化数据聚合的行业标准,能够在数秒内以 PB 级规模计算财务总和、统计活跃用户数量并计算历史平均值。但随着现代企业被非结构化数据淹没——应用日志、客户服务对话记录、产品图像和诊断报告——一个关键性缺口逐渐显现。
传统上,关系型 SQL 引擎缺乏原生处理文本和多模态数据中数百万行数据的聚合、综合和提取整体语义主题的能力。尽管 BigQuery 最近引入了强大的行级 AI 函数(如 AI.GENERATE 和 AI.CLASSIFY),但要对大规模数据集进行整体分析却面临独特的架构挑战:大语言模型(LLM)的上下文窗口限制。
即使使用 Gemini 等先进基础模型,也无法在不触发严重截断或执行失败的情况下,将数百万行数据一次性输入单个提示中。传统解决方案需要数据工程团队构建复杂的外部 map-reduce 管道,管理速率限制回退,并递归拼接分块摘要。
今天,我们非常高兴深入探讨 AI.AGG——目前处于预览阶段——这是一个完全托管的多级语义聚合函数,原生嵌入在 BigQuery GoogleSQL 中。通过将语义聚合概念化为分布式 map-reduce 问题,AI.AGG 使数据团队能够通过单个 SQL 查询对数百万行数据执行自然语言指令。
以下将揭秘其工作原理、变革性企业用例以及在生产环境中部署的最佳实践。
在 BigQuery 中原生将 PB 级数据转化为语义洞察。
多级批处理架构
AI.AGG 抽象了分块和并行执行的巨大工程复杂性。当执行 AI.AGG 查询时,BigQuery 引擎会在数据库内原生协调以下序列:
- 行级验证:引擎帮助验证单行数据不超过最大上下文窗口(对超过 10 MiB 的负载进行丢弃或返回错误)。
- 安全上下文批处理:引擎动态将输入行分组为符合所选 Gemini 端点令牌限制的较小批次。
- 并行推理:您的自然语言 SQL 提示会并行应用于每个批次,通过 Vertex AI 生成中间语义摘要。
- 递归综合:最后,系统将这些中间输出进行批处理,并以完全相同的指令返回给 LLM。此缩减过程递归重复,直到每个 SQL GROUP BY 子句生成单个最终聚合字符串。
由于 AI.AGG 需要深度推理来跨不同批次综合概念,因此其管道的每个阶段都完全依赖全权重 LLM——这与可利用蒸馏 CPU 代理模型的行级函数(如 AI.CLASSIFY)形成鲜明对比。
专为多模态企业打造
AI.AGG 原生支持文本和多模态输入。通过结合使用 BigQuery 对象表和 OBJ.GET_ACCESS_URL 函数,分析团队可以直接在 Cloud Storage 中聚合数千张图像的视觉洞察,无需数据移动或转码。
数据工程专业提示:NULL 唯一性规则
在评估多列时,用户通常会将 STRUCT 传递给函数。然而,如果该复合结构中的任意字段评估为 NULL,整个行将被视为 NULL 并被静默丢弃。始终显式使用 IFNULL() 包裹可为空的字段(例如:IFNULL(description, 'No data provided')),以确保数据安全进入流水线。
颠覆性企业应用场景
当与标准 SQL GROUP BY 操作结合时,AI.AGG 的真正分析能力才得以展现。
#### 1. 高流量系统日志的诊断分析
由全球分布式微服务生成的系统日志中,常常隐藏着微妙的性能退化(如内存抖动或系统时钟漂移),这些情况从不引发显式的致命错误。使用 AI.AGG,DevOps 团队可以按系统组件对数百万条日志进行分组,并生成针对性的人类可读诊断摘要。
- 提示技巧:在寻找异常之前,指示模型明确描述组件的“正常运行”状态。这有助于抑制 LLM 在完全健康的日志上幻觉生成错误的倾向。
#### 2. 构建“智能数据云”
AI.AGG 不仅仅是一个分析报告工具,它还是一个动态编排引擎。设想你获得了一个庞大但没有明确分类的老式支持票务库。你可以部署 AI.AGG 读取原始文本,合成一个明确的分类列表,并以严格的 JSON 数组形式输出。
通过 JSON_VALUE_ARRAY 解包该数组,并将这些动态标签直接输入到行级分类器(如 AI.CLASSIFY)中,你可以在 SQL 中原生构建端到端的自主数据标注流水线,从而减少对外部 Python 脚本的依赖。
提示工程即数据工程
将生成式模型集成到高度确定性的 SQL 流水线时,标准对话式提示通常会失效。为程序化 SQL 输出设计提示是一项严格的工程学科:
- 显式输出契约:将提示视为 API 契约。添加命令如:"返回一个严格有效的字符串 JSON 数组,不要包含 Markdown 代码块或对话文本。"
- 上下文分隔符:使用带显式标签的字符串拼接(例如:'- Description: ')来锚定 LLM,防止其在密集批次中混淆字段。
- 失败状态设计:明确指示模型在信息缺失时返回严格空值而非猜测,防止下游出现模式幻觉。
- 少量示例锚定:在提示中提供一个你期望结构的字面示例,以显著锚定模型的注意力机制。
治理、成本管理与防护措施
将语义工作负载投入生产需要操作监督。由于递归批处理架构,发送到 Gemini 的总 token 数将超过源数据的 token 数量。为降低成本,请强制实施严格的 WHERE 和 LIMIT 预过滤。
此外,对于需要引用大规模静态数据集的工作流程,BigQuery 支持 Gemini Context Caching 功能,可降低输入令牌成本并减少执行延迟。使用 AI.COUNT_TOKENS 工具可在执行前预估查询成本。
管理员可以放心操作,因为 AI.AGG 严格遵循 BigQuery 的治理框架,支持 VPC 服务控制(VPC-SC)以防止数据外泄。此外,如果批量处理过程中出现临时性错误,该函数会优雅降级——跳过被拒绝的行而不是导致整个查询崩溃。
需要牢记的预览限制条件:
- 每个 SQL 分组的最终输出字符串严格限制为每组最多 10,000 个令牌。请要求模型生成简洁的输出
- 单个数据行不得超过 10 MiB
- 处理多模态数组时,每行图像资源应限制在少于 10 张以内,以避免静默跳过
为确保最佳稳定性,我们建议每查询最多处理 2000 万行数据,并输出最多 1000 个不同的 SQL 分组。
将 AI.AGG 应用于实践
为帮助您快速上手,以下展示 AI.AGG 如何与传统 SQL 指标结合使用以生成洞察。
宏观主题发现
总结特定顶级作者讨论的内容,将数千条评论转化为简洁的叙述
加载中...
WITH top_commenters AS ( SELECT by AS author, text FROM bigquery-public-data.hacker_news.full WHERE type = 'comment' AND by IN ('dang', 'patio11', 'tptacek') LIMIT 5000 ) SELECT author, AI.AGG( text, 'These are comments written by this user on a tech forum. Tell me what topics this user talks about the most and what their general tone is. Keep it concise.' ) AS author_persona FROM top_commenters GROUP BY author;
DevOps 自主诊断报告(日志分析)
无需统计标准 HTTP 错误代码,使用 AI.AGG 分析数千条原始堆栈跟踪和日志消息,按微服务名称分组以发现系统性故障的定性根本原因。
SELECT service_name, COUNT(*) AS total_errors, AI.AGG( STRUCT(error_code, log_message, stack_trace), 'Analyze these error logs and stack traces. Provide a concise, two-sentence summary of the primary root cause or pattern causing failures in this service.' ) AS diagnostic_summary FROM my_project.ops_logs.application_errors WHERE severity = 'CRITICAL' AND timestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR) GROUP BY service_name ORDER BY total_errors DESC;
数据仓库的新纪元
借助 AI.AGG,Google Cloud 正在以 PB 级规模普及语义分析的访问权限。通过将 BigQuery 关系引擎的确定性分组能力与 Vertex AI Gemini 的宏观推理能力相结合,我们正在将企业数据仓库从被动的历史指标存储库转变为具备深度整体智能的主动语义运行时。
准备好释放企业数据的语义价值了吗?前往 Google Cloud 控制台,查阅 BigQuery 文档,立即运行您的首个语义聚合查询。
发布于
- 数据分析
- BigQuery