Get answers from tables with tabular search in Amazon Bedrock Managed Knowledge Base

TL;DR · AI 摘要
AWS Bedrock 知识库新增表格搜索功能,支持从 CSV、XLSX 等文件中提取数据并进行计算,提升复杂问题的解答能力。
核心要点
- 表格搜索功能支持从 CSV、XLSX、XLS 文件中提取数据并进行计算。
- 通过 AgenticRetrieveStream 请求,可同时检索文档和表格数据。
- 表格搜索解决了长表格和宽表格在传统 RAG 方法中的信息丢失问题。
结构提纲
按章节快速跳转。
- §引言
AWS Bedrock 知识库新增表格搜索功能,支持从表格中提取数据并进行计算。
表格搜索适用于需要跨多个表格和文档进行分析的问题,如财务部门的预算分析。
传统 RAG 方法在处理长表格和宽表格时容易丢失信息,影响检索效果。
表格搜索通过 AgenticRetrieveStream 请求,结合代码运行和文档检索,实现更准确的答案生成。
表格搜索解决了传统方法在表格信息提取和计算方面的不足,提升了复杂问题的解答能力。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- AWS Bedrock 表格搜索
- 功能特点
- 支持 CSV、XLSX、XLS 文件
- 结合代码运行和文档检索
- 通过 AgenticRetrieveStream 请求
- 应用场景
- 财务分析
- 跨文档和表格的复杂问题解答
- 优势
- 解决长表格和宽表格信息丢失问题
- 提升复杂问题的解答能力
金句 / Highlights
值得收藏与分享的关键句。
表格搜索通过 AgenticRetrieveStream 请求,结合代码运行和文档检索,实现更准确的答案生成。
传统 RAG 方法在处理长表格和宽表格时容易丢失信息,影响检索效果。
表格搜索解决了传统方法在表格信息提取和计算方面的不足,提升了复杂问题的解答能力。
通过 Amazon Bedrock 管理知识库中的表格搜索从表格中获取答案 | 人工智能
通过 Amazon Bedrock 管理知识库中的表格搜索从表格中获取答案
Amazon Bedrock 管理知识库现在支持表格搜索,因此您可以通过智能检索从表格中获取答案。当一个问题需要从 CSV、XLSX 或 XLS 文件中获取数据时,表格搜索会在一个或多个表格或工作表中的每一行中查找值并执行计算。然后,它将结果与相关文档中的事实结合起来,回答需要多步骤的分析性问题。
一个正在关闭季度的财务团队需要知道“哪些部门必须撰写差异说明?”没有单个文件包含答案。答案取决于差异政策的阈值、季度关闭备忘录中的预算修订以及利润与损失(P&L)工作簿中每个部门的数学计算。
像这个财务团队一样,大多数团队将他们的叙述和数据保存在同一个地方。例如,一个 Microsoft SharePoint 网站将工作簿与政策并列保存,一个 Amazon 简单存储服务(Amazon S3)存储桶将 CSV 导出与 PDF 并列保存。表格搜索通过您已经用于文档的 AgenticRetrieveStream 请求跨这些文件回答问题。它在隔离的沙箱中运行原始文件上的代码,因此答案使用整个表格,而不仅仅是检索返回的行。对于财务团队,一个请求返回必须撰写说明的部门。答案引用了政策和备忘录,并且追踪命名了代码读取的工作簿。
在本文中,您将学习表格搜索如何回答需要表格数据和文档事实的问题,以及何时使用其他工具更为合适。您还将使用示例财务文件构建知识库,并使用追踪功能查看代码读取了哪个文件。
你将得到的内容
来自政策、备忘录、业务审查和工作簿的段落,但没有完整的答案
一个答案,该答案列出了销售、工程和运营部门,每个部门的预算差异情况
修订后的差异百分比
不可用。没有文件存储它们,因此没有段落可以包含它们
从最终工作簿中的每个部门行计算得出
来源
每个段落都链接到它自己的文件,但其中没有一个包含答案
引用了财务政策和关闭备忘录。追踪指出了代码读取的工作簿
表1:使用普通检索和使用表格搜索的相同问题。
在智能代理检索中表格搜索的工作原理
在智能代理检索中,代理使用检索来决定哪些文档相关,然后编写答案。表格搜索是该流程的一部分,因此无需启用任何功能。
当问题需要表格中的数据时,请求会经过以下阶段:
- 检索 – 返回段落,包括来自表格文件的段落。
- 规划 – 代理使用问题和表格结构来决定是否在检索到的一个或多个表格上运行代码。
- 阶段 – 表格搜索将原始文件复制到一个没有网络访问权限的隔离沙箱中。
- 计算 – 模型编写的代码在整个表格或工作表上运行。
- 返回 – 代理只得到代码打印的内容,例如总计或匹配的行。
- 回答 – 代理根据结果和段落进行回答,并引用来源。
当检索到的段落来自CSV、XLSX或XLS文件,并且问题需要跨行计算或查找特定值时,表格搜索开始。
知识库、连接器和API
一个AgenticRetrieveStream请求可以搜索一个或多个知识库。检索API持续返回段落,不执行代码。
无论哪个连接器将文件引入知识库,表格搜索的工作方式都是一样的,包括Amazon S3、Microsoft SharePoint、Atlassian Confluence等。
范围和权衡
表格搜索是为需要对检索到的表格文件进行计算或查找的问题而构建的。运行代码至少会增加一次代理回合,因此使用表格数据的答案比仅文本的答案更耗时。受控指标、重复仪表板、仓库级连接和报告控制仍然属于你的商业智能(BI)工具。表格搜索适用于存储在文档旁边的表格文件,你无需定义模式。
解决方案概述
在本解决方案中,一个Amazon Bedrock托管知识库将你的CSV和Excel文件与相关的文档(如PDF和Word文件)一起存储。你的应用程序将每个问题通过智能代理检索进行处理。当一个问题需要表格数据时,答案会结合对你的表格的计算和文档中的事实。它会引用所使用的段落,并且追踪会命名代码读取的表格文件。
在图1中,Amazon S3数据源将这些文件同步到知识库中,知识库中保存了嵌入向量、文本、元数据和原始文件。当您的应用程序使用AgenticRetrieveStream发送问题时,代理检索会规划工作并从知识库中检索相关段落。如果问题需要从表格文件中获取数据,它会将文件发送到一个没有网络访问权限的隔离沙箱中。在沙箱中,模型编写的代码会运行在原始文件上,并返回打印结果。答案(包括引用和跟踪事件)会流式传输回您的应用程序。
图1:Amazon Bedrock托管知识库中的表格文件和文档,以及代理检索中的表格搜索。
这个示例使用了虚构的AnyCompany零售财务文件:
- 最终损益表工作簿( anycompany-pnl-fy2026.xlsx )。它包含注释、实际数据、预算和汇总工作表,实际数据和预算工作表中每个工作表有一行对应每个月、成本中心和账户。
- 草稿工作簿。一个初步副本,其中包含不同的第三季度数字。
- 财务差异政策(PDF)。定义了可控支出和批准预算,并设置了审查阈值。
- 第三季度关闭备忘录(Word)。列出了批准和拒绝的预算修订。
- 业务回顾(Markdown)。解释了主要差异。
这些文件位于sample-managed-knowledge-base-patterns GitHub仓库的tabular-search文件夹中。该文件夹还包含一个AWS Cloud Development Kit(AWS CDK)应用程序,用于部署本文中提到的资源,以及一些Python脚本,用于提出这些问题。
先决条件
您需要以下内容:
- 创建AWS Identity and Access Management(IAM)角色、S3存储桶和Amazon Bedrock知识库的权限。
- 对于调用AgenticRetrieveStream的身份,需要代理检索的权限,包括bedrock:GetDocumentContent。代理使用调用者的凭证读取原始表格文件。
- 在支持表格搜索的AWS区域中使用Amazon Bedrock。有关区域可用性信息,请参阅支持的AWS区域。
- 您自己的CSV、XLSX或XLS文件以及相关文档。
- 要遵循操作指南:Python 3.10或更高版本,以及AWS SDK for Python(Boto3)1.43.123或更高版本。您也可以通过Amazon Bedrock控制台中的知识库测试窗口或使用AWS Command Line Interface(AWS CLI)来提出问题。
调用身份需要以下策略,该策略来自代理检索文档:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": "bedrock:AgenticRetrieveStream",
"Resource": "*"
},
{
"Effect": "Allow",
"Action": ["bedrock:Retrieve", "bedrock:GetDocumentContent"],
"Resource": "arn:aws:bedrock:<region>:111122223333:knowledge-base/*"
},
{
"Effect": "Allow",
"Action": "bedrock:InvokeModelWithResponseStream",
"Resource": "*"
}
]
}有关费用信息,请参阅Amazon Bedrock定价。
将文件上传到Amazon S3
将表格文件和相关文档放在一个前缀下。
- 打开Amazon S3控制台,选择创建存储桶。
- 输入一个全局唯一的存储桶名称(本文使用amzn-s3-demo-bucket),保持“阻止所有公共访问”选项选中,然后选择创建存储桶。
- 选择存储桶,选择创建文件夹,输入finance。
- 打开finance文件夹并选择上传。
- 选择添加文件,选择您的表格文件和文档,然后选择上传。
创建知识库和数据源
知识库需要一个 IAM 角色,Amazon Bedrock 可以担任该角色。此信任策略仅允许 bedrock.amazonaws.com 服务主体,并且仅适用于您账户中的知识库。
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "BedrockKnowledgeBaseAssume",
"Effect": "Allow",
"Principal": {"Service": "bedrock.amazonaws.com"},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {"aws:SourceAccount": "111122223333"},
"ArnLike": {
"aws:SourceArn": "arn:aws:bedrock:<region>:111122223333:knowledge-base/*"
}
}
}
]
}接下来,设置其余资源:
- 创建一个名为 kb-finance-role 的角色,并应用信任策略。
- 附加一个内联策略,允许对存储桶进行 s3:ListBucket 操作,并对其对象进行 s3:GetObject 操作。
- 使用托管嵌入模型创建一个类型为 MANAGED 的知识库。
- 为存储桶创建一个 MANAGED_KNOWLEDGE_BASE_CONNECTOR 数据源,限制为 finance/ 前缀。
- 将 maxFileSizeInMegaBytes 设置为大于您最大文件的大小。
第 2 步的内联策略仅允许对这个存储桶进行读取操作:
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "ListBucket",
"Effect": "Allow",
"Action": "s3:ListBucket",
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket",
"Condition": {"StringEquals": {"aws:ResourceAccount": "111122223333"}}
},
{
"Sid": "ReadObjects",
"Effect": "Allow",
"Action": "s3:GetObject",
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket/*",
"Condition": {"StringEquals": {"aws:ResourceAccount": "111122223333"}}
}
]
}此脚本执行步骤 3 到 5 并打印 ID:
import time
import boto3
agent = boto3.client("bedrock-agent")
kb = agent.create_knowledge_base(
name="finance-kb",
roleArn="arn:aws:iam::111122223333:role/kb-finance-role",
knowledgeBaseConfiguration={
"type": "MANAGED",
"managedKnowledgeBaseConfiguration": {"embeddingModelType": "MANAGED"},
},
)
kb_id = kb["knowledgeBase"]["knowledgeBaseId"]
# 在添加数据源之前,等待知识库变为 ACTIVE 状态。
status = "CREATING"
while status in ("CREATING", "UPDATING"):
time.sleep(10)
status = agent.get_knowledge_base(knowledgeBaseId=kb_id)["knowledgeBase"]["status"]
if status != "ACTIVE":
raise RuntimeError(f"Knowledge base status is {status}")
ds = agent.create_data_source(
knowledgeBaseId=kb_id,
name="finance-s3",
dataSourceConfiguration={
"type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
"managedKnowledgeBaseConnectorConfiguration": {
"connectorParameters": {
"type": "S3",
"version": "1",
"connectionConfiguration": {
"bucketName": "amzn-s3-demo-bucket",
"bucketOwnerAccountId": "111122223333",
},
"filterConfiguration": {
# 以 MB 为单位。请将此值设置为大于您最大的表。
"maxFileSizeInMegaBytes": "200",
"inclusionPrefixes": ["finance/"],
},
"aclEnabled": False,
}
},
},
vectorIngestionConfiguration={
"parsingConfiguration": {"parsingStrategy": "SMART_PARSING"}
},
)
print("knowledge base:", kb_id, "data source:", ds["dataSource"]["dataSourceId"])同步数据源并检查文件类型
表格搜索只能在知识库分配了正确的文件类型后才能开始,因此在首次同步后请检查文件类型。
- 为数据源启动一个数据摄取任务。
- 轮询任务直到其状态变为
COMPLETE。 - 查看任务统计信息,检查失败文档的情况。
- 使用您的问题运行一次 Retrieve 调用。
- 确认表格段落中
_file_type显示为CSV(对于 CSV 文件)或MS_EXCEL(对于 XLSX 和 XLS 文件)。
第一个脚本执行步骤 1 到 3:
import time
import boto3
agent = boto3.client("bedrock-agent")
KB_ID, DS_ID = "<your-knowledge-base-id>", "<your-data-source-id>"
job_id = agent.start_ingestion_job(knowledgeBaseId=KB_ID, dataSourceId=DS_ID)[
"ingestionJob"]["ingestionJobId"]
while True:
job = agent.get_ingestion_job(
knowledgeBaseId=KB_ID, dataSourceId=DS_ID, ingestionJobId=job_id
)["ingestionJob"]
if job["status"] in ("COMPLETE", "FAILED", "STOPPED"):
break
time.sleep(15)
print(job["status"], job.get("statistics"), job.get("failureReasons"))第二个脚本执行步骤 4 和 5,以便您在使用代理检索提问前检查表格文件类型。使用您自己的文件时,请提出一个问题,该问题将文档中的某条规则与表格中的计算相结合,并为两者命名。
import boto3
runtime = boto3.client("bedrock-agent-runtime")
question = (
"In fiscal Q2 of FY2026, which cost center had the largest overspend in "
"controllable spend, as the finance policy defines it? Compare the Actuals "
"and Budget sheets of the FY2026 P&L workbook and give the cost center and "
"the overspend in US dollars."
)
response = runtime.retrieve(
knowledgeBaseId="1234567890",
retrievalQuery={"text": question},
retrievalConfiguration={"managedSearchConfiguration": {"numberOfResults": 10}},
)
for result in response["retrievalResults"]:
print(result["metadata"].get("_file_type"), result.get("documentId"))跨表格和文档提问
通过 AgenticRetrieveStream 发送相同的问题。脚本会打印答案、每次代码执行的状态以及代码读取的文件。
import boto3
runtime = boto3.client("bedrock-agent-runtime")
question = (
"In fiscal Q2 of FY2026, which cost center had the largest overspend in "
"controllable spend, as the finance policy defines it? Compare the Actuals "
"and Budget sheets of the FY2026 P&L workbook and give the cost center and "
"the overspend in US dollars."
)
response = runtime.agentic_retrieve_stream(
messages=[{"role": "user", "content": {"text": question}}],
retrievers=[{"configuration": {"knowledgeBase": {"knowledgeBaseId": "1234567890"}}}],
agenticRetrieveConfiguration={
"foundationModelType": "MANAGED",
"rerankingModelType": "MANAGED",
},
)
for event in response["stream"]:
if "traceEvent" in event:
attributes = event["traceEvent"]["attributes"]
# CodeExecution 步骤会报告 IN_PROGRESS,然后是 SUCCEEDED 或 FAILED。
if attributes.get("step") == "CodeExecution":
print(attributes["status"], attributes.get("message"))
# Planning 事件会列出代码将读取的文件。
for action in attributes.get("actions", []):
for doc in action.get("codeExecution", {}).get("documents", []):
print("code read:", doc["documentId"])
elif "responseEvent" in event:
print(event["responseEvent"]["text"], end="")对于这些文件,答案将两个工作簿表格与两个文档结合起来:
- 来自文档。财务政策将可控支出定义为承包商、差旅、软件和营销计划账户,排除了薪资和设施支出。业务回顾解释了主要差异。
- 来自表格。代码使用了Actuals和Budget工作表中的每一行,将两者都筛选为财政Q2和四个账户,然后比较成本中心。
- 答案。CC-3010(平台)超支了124,559.90美元,实际支出为394,859.90美元,而预算为270,300.00美元。业务回顾将差异归因于为数据平台迁移而引入的承包商。如果计算所有运营支出账户,结果为133,434.05美元。
查看追踪
追踪事件按以下顺序到达:
- 规划。一个状态为SUCCEEDED的Planning事件包括一个codeExecution操作,该操作命名了代码将要读取的文档。
- 代码步骤。一个状态为IN_PROGRESS(“正在处理1个文档上的代码”)的CodeExecution事件,然后是一个状态为SUCCEEDED的事件。SUCCEEDED消息命名了代码读取的每个文件及其大小。
- 答案。第二次规划轮次和响应文本在最终结果事件之前,该事件包含引用。引用指向答案所使用的段落,因此代码读取的表格文件并不总是其中的一部分。
在这个例子中,Planning事件只命名了最终的工作簿,因为政策和业务回顾作为检索到的段落到达。
{
"traceEvent": {
"attributes": {
"step": "Planning",
"status": "SUCCEEDED",
"message": "Agent planning completed",
"actions": [
{
"retrieve": {},
"codeExecution": {
"documents": [
{
"documentId": "s3://amzn-s3-demo-bucket/finance/anycompany-pnl-fy2026.xlsx",
"sourceRetriever": {"identifier": "1234567890"}
}
]
}
}
]
}
}
}在较长的调用中,流每10秒重复一次IN_PROGRESS事件,因此不会触发读取超时。无法完成的代码步骤将报告为FAILED,代理通常会重试或回退。
表格搜索作为响应生成的一部分运行,默认是启用的,因此脚本将generateResponse保留为未设置。如果您将generateResponse设置为false,代理将返回检索结果而不运行代码。有关详细信息,请参阅代理检索。
尝试更多问题
以下每个问题也都会将文档与工作簿配对。
将备忘录修订应用于季度总额
这个问题需要一个仅在备忘录修订之后才存在的预算:
FY2026财政Q3的总运营费用是否在Q3预算的修订版本内?请提供实际的Q3运营费用、修订后的Q3预算以及差额,单位为美元。答案使用了备忘录的修订、工作簿中的Q3实际数据和原始预算。支出比修订后的预算少49,572.40美元,因此答案是肯定的,尽管同样的支出超过了原始预算。Plain Retrieve返回备忘录和工作簿的段落,但其中没有包含这些数字。
在预算修订后应用政策阈值
以下是引言中财务团队问题的完整版本。它需要政策的阈值、备忘录的修订和工作簿:
根据Q3结账备忘录中批准的预算修订,根据财务政策,哪些部门必须对FY2026财年第三季度的预算差异进行说明?该政策规定,当差异超过批准预算(包括已批准的修订)的5%时,需要进行说明。备忘录批准了市场部的增加和工程部的削减。答案是销售部(-6.50%)、工程部(+5.79%)和运营部(+6.20%)。工程部仅因批准的削减降低了其预算,因此超过了阈值。
继续对话
表格搜索在多轮对话中也适用。将之前的对话轮次发送在消息中,表格搜索会在需要表格的轮次中运行。第一个问题要求从工作簿中进行计算:
从最终的FY2026损益表工作簿的“实际数据”和“预算”工作表中,计算FY2026财年第二季度客户支持部门的实际运营费用和预算,以美元为单位。对于后续问题,发送第一个问题、其答案("role": "assistant")和新问题在消息中:
根据财务政策,这个差异是否需要书面说明?除了财务总监之外,还有谁需要审核?该差异超出预算12.40%,因此需要书面说明。由于超过了10%,根据政策,还需要由CFO Nikki Wolf进行审核。通常,第一轮会运行代码处理工作簿,第二轮则根据历史记录回答政策问题。
对于较长的会话,可以通过在请求中设置memoryConfiguration,将对话历史保存在Amazon Bedrock AgentCore的内存资源中,而不是重新发送之前的对话轮次。有关详细信息,请参阅agentic retrieval。
表格相关问题的最佳实践
在提问时要小心措辞,因为检索会决定代码读取哪个表格。明确指出来源的问题有助于检索选择正确的表格。
- 一个规则对应一个表格。命名包含该规则的文档,例如“如Q3结账备忘录中所修订的”。
- 当有多个版本时,命名文件。例如,“使用最终的FY2026损益表工作簿,anycompany-pnl-fy2026.xlsx”。
- 如果你想得到一个计算结果,请明确要求。如果汇总表中包含一个数字,代理可以从汇总表中回答。例如,“计算每个部门从实际数据和预算工作表中的差异”会从明细行进行计算。
- 提出明确的问题。通过多轮对话构建更全面的分析。
一些数据和应用选择也有帮助:
- 将表格保存为CSV、XLSX或XLS文件。首先从PDF或Word文档中导出表格。
- 将文件大小过滤器设置为大于你最大的表格。超过maxFileSizeInMegaBytes的文件不会被导入,因此代码无法读取它们。
- 将Excel工作表保持在200MB以内。截至目前,表格搜索在CSV文件上运行代码可达到500MB的摄入限制,但在Excel工作表上仅支持到200MB。你仍然可以导入更大的Excel文件,因此在依赖全表计算之前,请检查工作表的大小。
- 使用表格搜索进行分析。运行代码会增加一个代理轮次,因此对于快速文本查询,保持使用普通的检索。
- 使用元数据过滤器限定文件范围。例如,在retrievalOverrides下设置一个过滤器,如_document_title,可以控制代码可以读取哪些文件。
- 使用跟踪进行审计。出于设计原因,生成的代码不会返回,因为它可能会重复单元格的值。跟踪会显示代码读取了哪些文件。
清理
为了避免持续产生费用,请按以下顺序删除这些资源:
- 在 Amazon Bedrock 控制台中,选择 Knowledge Bases,然后选择 finance-kb。
- 选择 finance-s3 数据源,然后选择 Delete。
- 删除 finance-kb 知识库。
- 在 Amazon S3 控制台中,选择存储桶,选择 Empty,然后选择 Delete,除非其他工作负载正在使用它。
- 在 IAM 控制台中,选择 Roles,选择 kb-finance-role,然后选择 Delete。
如果你使用了仓库中的 AWS CDK 应用进行部署,请从其 infra 文件夹中运行 npx cdk destroy,而不是执行上述步骤。它会删除堆栈创建的所有内容。
结论
财务团队成员需要知道“哪些部门必须撰写差异说明?”通过 Amazon Bedrock 管理知识库中的表格搜索功能,你可以通过一次代理检索请求来回答这个问题,该请求同时使用了工作簿、政策和备忘录。
在本文中,你学习了如何通过表格搜索来回答需要表格数据和文档事实的问题,以及在什么情况下使用其他工具会更合适。你还使用了示例财务文件构建了一个知识库,并通过追踪功能查看代码读取了哪些文件。
要开始使用,请参阅《Amazon Bedrock 用户指南》中的“构建管理知识库和代理检索”以及《Amazon Bedrock API 参考》中的“AgenticRetrieveStream”。如需了解更多内容,请阅读 AWS 人工智能博客上的“使用 Amazon Bedrock 管理知识库构建适用于代理的企业搜索”。
作者简介
'"`