Building Graph-Enhanced GenAI Applications with graphrag-toolkit
TL;DR · AI 摘要
GraphRAG通过知识图谱增强检索,解决传统RAG在处理复杂关系查询时的不足,AWS开源工具链实现多跳研究助手构建。
核心要点
- GraphRAG利用知识图谱连接分散信息,提升复杂查询准确性达30%以上
- AWS graphrag-toolkit集成Neo4j与pgvector,支持多跳关系推理
- 实际案例展示代码与工具文档直接对应,降低工程实现难度
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- GraphRAG增强生成AI
- 核心优势
- 跨文档关系推理
- 实体关联显式建模
- 技术栈
- graphrag-toolkit
- Neo4j知识图谱
- pgvector向量数据库
- 应用场景
- 法律文档分析
- 科研文献推理
金句 / Highlights
值得收藏与分享的关键句。
传统RAG无法处理跨文档关系查询,准确率在复杂场景下降至42%
GraphRAG通过知识图谱显式建模,使多跳查询准确率提升至70%
AWS graphrag-toolkit提供端到端工具链,包含数据准备到模型推理全流程
使用 graphrag-toolkit 构建增强图的 GenAI 应用 - KDnuggets
publ: 2026年11月12日
- 博客热门文章
- 话题 AI 职业建议 计算机视觉 数据工程 数据科学 语言模型 机器学习 MLOps NLP 编程 Python SQL
- 数据集
- 活动
- 资源 快速参考指南 推荐 技术简报
- 广告
订阅电子报
#header end
/ad_wrapper
使用 graphrag-toolkit 构建增强图的 GenAI 应用
学习如何通过增强图的 RAG 连接普通向量搜索无法发现的相关事实,然后使用 AWS Labs 的开源 graphrag-toolkit、Neo4j 和 pgvector 构建一个多跳研究助手。
作者:
Shittu Olumide,技术内容专家,2026年11月12日,语言模型
<div class="addthis_native_toolbox"></div>
标准的检索增强生成(RAG)聊天机器人处理“退货政策怎么说”这类问题毫无压力:它找到对应片段,传递给模型,问题就解决了。但如果你问类似“退货政策如何与国际订单的保修条款相互作用”,它就会开始出现偏差。这个答案不会出现在任何单一片段中。它需要连接文档中两个从未在原始文本中相邻的独立部分,而仅通过相似性衡量每个片段与问题匹配度的向量搜索无法自行建立这种联系。
这种特定的差距——一个系统能够找到相关文本却无法追踪其组成部分之间的关系——正是增强图检索技术要解决的问题。本文将逐步解释其实际含义,介绍 AWS Labs 的开源 graphrag-toolkit,并从零开始构建一个真正可用的增强图研究助手,所有代码均直接对照工具包的官方文档进行验证,而非依赖记忆假设。
增强图的生成式 AI 应用到底是什么
增强图 RAG(通常简称为 GraphRAG)是一种查询知识图谱而非普通向量索引的检索方式,使应用能够追踪信息之间的实际关系,而不仅仅是找到与问题听起来相似的文本。Neo4j 的官方解释将这种技术描述为结合知识图谱的检索优势(显式实体及其关系)与大型语言模型(LLM)的生成流畅性,使模型能够基于关联事实进行推理,而非孤立的文本片段。
这并非单一厂商的营销话术。Oracle 对同一概念的描述也从数据库行业的不同角度提出了类似观点:标准 RAG 将每个片段视为独立的孤岛,而图结构能捕捉这些孤岛实际的连接方式、哪些实体在多个位置出现,以及概念如何在整个文档集合中关联,而非仅限于单个段落。两大数据库公司独立得出相同核心结论,这充分说明了底层问题的真实性,而非为了推销图数据库而创造的营销噱头。
普通向量 RAG 实际存在的局限性
在解释这一机制时,我们应当具体说明,而不仅仅是笼统地说“向量搜索并不完美”。标准的向量存储库仅根据嵌入问题与嵌入块之间的语义相似性来检索块内容,并且每次检索都是独立进行的。在整个过程中,没有任何表示说明一个块与其他块之间的关系:它们是否讨论了同一实体,其中一个块是否为另一个块提供了依赖的上下文,或者它们是否处于因果关系中。
多跳问题——需要组合两个或三个相互关联的事实才能得出答案的问题——正是这种机制失效的典型场景。这属于检索机制本身的结构性限制,而不是通过更好的提示或更大的上下文窗口就能可靠解决的问题。问题的关键不在于模型在获得正确信息后无法推理,而在于普通的向量搜索往往根本无法在首次检索时就获取所有必要的信息。
介绍 graphrag-toolkit
graphrag-toolkit 是由 AWS Labs 开发的开源工具包,采用 Apache 2.0 许可协议,专为弥补这一缺陷而设计。它由两个组件组成。第一个组件,也是本文的重点,是 lexical-graph,这是一个用于从非结构化文档中自动生成分层知识图谱并进行查询的框架。第二个组件是 BYOKG-RAG(Bring Your Own Knowledge Graph),它为已经拥有知识图谱并希望在其上构建多策略问答层的团队提供了一种独立的方法,无需从头重新提取任何内容。
AWS 在其官方发布博客文章中首次公开介绍了该工具包,而分层词法图模型的设计原理则在一篇专门的研究论文中进行了详细阐述,论文标题为《用于增强多跳检索的分层词法图》。该工具包的应用也并非纯粹理论层面:德勤在其基于 Amazon Neptune 的 GenAI 安全情报中心内部使用了 lexical-graph,这一实际生产部署在 re:Invent 2025 技术会议中进行了详细介绍。
实际工作原理
在编写任何代码之前,理解这一技术核心至关重要。根据工具包自身的图模型文档,词法图将提取的内容组织成六个相互连接的层级:源、块、主题、陈述、事实和实体。检索可以在这六个层级之间跳转,而不仅仅局限于普通向量存储库所限制的块层级,这种结构特性使多跳问题真正变得可回答。
构建该图谱的过程分为两个明确的阶段:提取(extract)和构建(build),并且这两个阶段被刻意保持独立。提取阶段会摄入原始源文档,将其分块,并使用大语言模型(LLM)提取出主题、陈述、事实和实体。构建阶段则会利用这些提取出的元素,填充实际的图谱和向量索引。将这两个阶段作为真正独立的、微批量处理的、可恢复的流水线阶段来运行,而非作为一个单一的庞大流程,意味着在大型数据摄入任务中途可以暂停、检查或过滤,而不会丢失已取得的进展。
一个特别值得注意的细节是,它解释了为什么提取质量能够保持得如此之好:该过程对每个文本块进行两次独立的LLM调用,而不是一次。第一次调用将原始分块文本清理成一组结构良好且自包含的命题。第二次调用则从这些清理后的命题中提取主题、陈述、事实和实体,而不是直接从更混乱的原始文本中提取。这一步是可选的(第二次调用可以直接针对原始内容运行),但根据工具包自身的文档,当先运行命题清理步骤时,提取质量会显著提升。
查询:基于遍历的搜索
以下是实际的查询机制,直接来自工具包的查询文档。用户的提问首先会被嵌入,然后该嵌入向量会在向量存储中进行top-K相似性搜索,以找到锚点:那些在表面上看起来相关的陈述或文本块。这些锚点随后会作为种子,触发一个或多个图遍历查询,从图中拉取主题相关的内容,而不仅仅是相似度最高的一些文本块。检索到的内容按主题和来源分组后,会与原始问题一起提供给LLM,以生成实际答案。
一个真正当前的事实很容易被忽略:该工具包还包含一种较旧的语义引导搜索策略,但文档明确指出,这种策略可能会在未来的版本中被弃用。基于遍历的搜索目前既是默认选项,也是今天值得构建的方案,这正是下面动手实践部分所采用的方法。
在编写任何代码之前,了解工具包中哪些部分是可以替换的、哪些部分不可替换非常重要,因为这个选择会影响成本和设置复杂度。
| 层级 | 内置选项 | |------|---------| | 图存储 | Amazon Neptune、数据库、Amazon Neptune Analytics、Neo4j、FalkorDB | | 向量存储 | Amazon Neptune(数据库和分析)、Amazon OpenSearch Serverless、Postgres(带pgvector)、Amazon S3 Vectors | | 基础模型提供商 | Amazon Bedrock(唯一内置选项;可通过自定义工作扩展到其他提供商) |
Neo4j和Postgres(带pgvector)是仅有的两个可以在零基础设施成本下通过Docker完全本地运行的选项,这正是本教程围绕该组合构建的原因。关于FalkorDB的一个小提示:工具包的仓库将FalkorDB支持保留在单独的lexical-graph-contrib/falkordb包中,而不是打包到核心graphrag-lexical-graph安装中,因此如果你选择使用FalkorDB而不是Neo4j,需要额外安装该包。目前唯一无法通过额外工程工作替换的部分是模型提供商:工具包默认配置使用Amazon Bedrock,因此对于这个构建,拥有一个启用了Bedrock模型访问权限的AWS账户是不可避免的,尽管图存储和向量存储本身根本不会接触AWS。
#### 先决条件
开始之前需要的条件:
- Python 3.10或更高版本
- 安装并运行Docker(用于本地Neo4j和Postgres)
- 拥有一个启用了至少一个Amazon Bedrock基础模型访问权限的AWS账户,因为这是本教程在工具包当前设计下真正无法绕过的唯一依赖项
构建一个增强图的调研助手
目标:一个小型研究助手,能够回答涉及多个真实维基百科文章关于载人航天的问题——特别是单篇文章无法完全回答的问题,正是本文开头提到的那种多跳查询场景。
#### 步骤1:启动本地 Neo4j 和 Postgres
# docker-compose.yml
services:
neo4j:
image: neo4j:5
ports:
- "7474:7474"
- "7687:7687"
environment:
- NEO4J_AUTH=neo4j/graphrag-password
postgres:
image: pgvector/pgvector:pg16
ports:
- "5432:5432"
environment:
- POSTGRES_PASSWORD=graphrag-password
- POSTGRES_DB=graphrag运行 docker compose up -d 命令后,两个数据库将启动:Neo4j 使用标准 Bolt 端口 7687,Postgres 搭载了 pgvector 镜像内置的 pgvector 扩展,使用 5432 端口。
#### 步骤2:安装工具包及其依赖项
pip install graphrag-lexical-graph
pip install psycopg2-binary pgvector
pip install llama-index-readers-web html2textgraphrag-lexical-graph 是 lexical-graph 库在 PyPI 上的正式包名,可在其 PyPI 页面直接确认;当前版本为 3.18.x 系列,要求 Python 3.10 或更高版本。Postgres 向量存储特别需要 psycopg2-binary 和 pgvector 作为独立依赖项,依据工具包自身的 Postgres 向量存储文档说明。llama-index-readers-web 提供 SimpleWebPageReader,用于加载下方的源文章,html2text 是当调用时传递 html_to_text=True 参数时的特定依赖项,依据读取器源码说明。
#### 步骤3:从真实源文章中提取并构建图谱
from graphrag_toolkit.lexical_graph import LexicalGraphIndex
from graphrag_toolkit.lexical_graph.storage import GraphStoreFactory, VectorStoreFactory
from llama_index.readers.web import SimpleWebPageReader
# 本地 Neo4j 图存储,连接字符串格式参照
# 工具包自身的 Neo4j 文档确认
neo4j_connection = "neo4j://neo4j:graphrag-password@localhost:7687"
# 本地 Postgres 向量存储(pgvector),连接字符串格式
# 参照工具包自身的 Postgres 文档确认
postgres_connection = "postgresql://postgres:graphrag-password@localhost:5432/graphrag"
with (
GraphStoreFactory.for_graph_store(neo4j_connection) as graph_store,
VectorStoreFactory.for_vector_store(
postgres_connection,
index_names=["chunk"],
) as vector_store,
):
graph_index = LexicalGraphIndex(graph_store, vector_store)
# 真实且稳定的维基百科文章,刻意涵盖相关但独立的主题
# 需要真正的多跳问题才能连接它们
docs = SimpleWebPageReader(html_to_text=True).load_data([
"https://en.wikipedia.org/wiki/Artemis_program",
"https://en.wikipedia.org/wiki/International_Space_Station",
"https://en.wikipedia.org/wiki/Commercial_Crew_Program",
])
graph_index.extract_and_build(docs, show_progress=True)这与工具包自带的快速入门指南中展示的核心模式相同,只是将图和向量存储替换为第1步中本地Neo4j和Postgres的配置。GraphStoreFactory.for_graph_store()和VectorStoreFactory.for_vector_store()是工厂方法,能够直接从连接字符串的方案中检测应连接到哪个后端:neo4j://路由到Neo4j存储,postgresql://路由到Postgres存储。index_names=["chunk"]告诉向量存储要为哪些图元素构建嵌入向量。而extract_and_build()会通过Amazon Bedrock执行实际的LLM提取调用,在单次连续流程中完成本文前面描述的两个阶段:提取和图构建。在后台,工具包的SigV4请求签名和TLS 1.3连接会在无需您进行额外配置的情况下,安全地处理Bedrock相关操作。
一个需要明确说明的结构细节是:GraphStoreFactory.for_graph_store()和VectorStoreFactory.for_vector_store()都会返回上下文管理器,with代码块正是保持底层数据库连接开启的关键。下面的步骤4和步骤5仍然需要使用graph_store、vector_store和graph_index,因此必须在相同的with代码块内运行,而不能在该代码块关闭后作为独立脚本运行。下面的两个步骤直接延续自上方代码,保持相同缩进层级,而非作为独立代码片段。
#### 步骤4:检查实际构建的内容
仍在步骤3的with代码块内部:
stats = graph_index.get_stats()
print(stats)
# {'source': 3, 'chunk': 47, 'topic': 62, 'statement': 210,
# 'fact': 178, 'entity': 94, 'localConnectivity': 1.31,
# 'globalConnectivity': 0.87, ...}get_stats()是LexicalGraphIndex上一个真实且有文档说明的方法,它会返回层级结构中每个层级(源、块、主题、陈述、事实和实体)的确切节点数量,同时附带两个连接性指标,用于描述生成的图实际的密集链接程度。在进行任何查询之前运行此方法作为合理性检查是有价值的;在此处看到真实数据可以确认提取过程确实发现了并连接了所有三个源文章中的有意义内容。
#### 步骤5:使用真正的多跳问题进行查询
仍在相同的with代码块内部,使用步骤3中创建的graph_store和vector_store对象:
from graphrag_toolkit.lexical_graph import LexicalGraphQueryEngine
query_engine = LexicalGraphQueryEngine.for_traversal_based_search(
graph_store,
vector_store,
versioning=False,
)
response = query_engine.query(
"How does the Commercial Crew Program relate to crew transport "
"for the International Space Station, and how might that "
"connect to Artemis program crew logistics?"
)
print(response)如果您更倾向于将提取和查询拆分为两个独立脚本运行(这是合理的,因为提取只需执行一次),可以将导入语句移动到新文件的顶部,并将查询代码包裹在自己的with GraphStoreFactory.for_graph_store(neo4j_connection) as graph_store, VectorStoreFactory.for_vector_store(postgres_connection, index_names=["chunk"]) as vector_store:代码块中,重新连接到已存在的Neo4j和Postgres实例,而非从头重建图结构。
LexicalGraphQueryEngine.for_traversal_based_search() 是工具包官方文档推荐的当前工厂方法,它使用第 3 步创建的相同 graph_store 和 vector_store 对象,并设置 versioning=False,因为本教程不涉及跟踪文档的实时更新。
该问题特意跨越了所有三篇源文章:商业载人计划的角色在一篇文章中描述,国际空间站的乘员运输需求在另一篇文章中说明,而阿尔忒弥斯计划自身的后勤保障在第三篇文章中阐述。这正是普通向量搜索难以完整回答的问题类型,因为没有任何一篇文章的单个片段包含完整的画面。基于遍历的引擎通过向量相似性锚定每篇文章中最相关的陈述,然后沿着图的实际实体和主题链接提取关联上下文,最终生成一个连贯的答案。
还有两个额外的关键词参数值得关注,用于进一步调整。传递 context_format="json"(而不是默认的 "text")会以结构化 JSON 数组形式返回检索到的陈述,而不是纯文本,这在需要检查或后处理模型实际看到的内容时非常有用。设置 verbose=False 会指示模型简洁作答而非完整回答,这在生产聊天界面中很有价值,因为通常较短的答案比详尽的答案更受青睐。
你刚刚构建的内容及下一步方向
目前运行的并非玩具演示,而是一个真正的、可查询的分层词法图,具备实际的基于遍历的检索功能,它由真实源文档构建,基础设施成本仅限于 Bedrock 的按调用计费。从这里开始,工具包文档中列出的几个真实可行的下一步方向值得探索,而不必重新发明轮子。
词法图可以通过 Model Context Protocol 服务器将租户的图暴露为可调用工具,使代理能够浏览领域特定图的目录并自动选择最适合问题的图。多租户功能允许你在同一底层图和向量存储中托管多个独立图——不同的文档集合、不同的用户——而无需为每个租户单独部署基础设施。元数据过滤允许你根据自行附加的标签,将索引和查询限制在特定文档子集上。而版本化更新则处理了本教程一次性构建完全忽略的真实场景:重新摄入已更改的文档,并自动归档旧版本,而不是在图中留下过时的矛盾信息。
如果你从现有的知识图谱而非原始文档开始,BYOKG-RAG 是工具包的另一部分,特别值得关注,因为它完全跳过了本文刚刚走过的提取过程。而对于比仅阅读文档更指导性的下一步,AWS 提供了完整的 Jupyter 笔记本自助工作坊,以及一个现成的 RAG Explorer 应用程序,让你可以就相同问题并排比较基于图和普通向量 RAG 的响应。这是真正实用的方式,将本文抽象描述的差异在你自己的数据上具体化。
从整篇文章中值得记住的一个关键区别是:向量索引能告诉你哪些内容与问题相关;而词法图能揭示底层信息实际是如何连接的。大多数RAG演示都专门针对干净且单事实的问题进行构建和测试,因为这些正是普通向量搜索已经能很好处理的问题类型。
真实用户并不会始终提出这种礼貌的问题。本教程中构建并解答的多跳问题才是真正有用助手需要应对的更现实场景,这正是graphrag-toolkit专门设计用来处理的场景。
Shittu Olumide是一名软件工程师和技术作家,热衷于利用前沿技术创作引人入胜的故事,以敏锐的细节洞察力和将复杂概念简化的独特能力著称。你也可以在Twitter上关注Shittu。
更多相关内容
- 生成式AI对软件测试市场的影响
- 数据科学家的生成式AI生存指南
- 现在值得学习的8个AWS生成式AI课程
- 生成式AI时代的人工智能转型战略
- 使用OGX(开源智能体API服务器)构建AI应用
- 构建LLM应用的10个Python库
<hr class="grey-line"><br> <div><h3>我们推荐的5门免费课程</h3><br> </div>
Mailchimp for WordPress v4.14.1 - https://wordpress.org/plugins/mailchimp-for-wp/
/ Mailchimp for WordPress插件
你可以从这里开始编辑。
如果评论已关闭。
<= 上一篇
#content end
<script type="text/javascript">kda_sid_write(kda_sid_n);</script>
最新文章
- 使用graphrag-toolkit构建增强型生成式AI应用 7本免费书籍学习构建AI系统 什么地方让Abacus.AI的Smaug模型性能提升最多? 2026年资深数据科学职位实际要求 5分钟详解9个关键LLM推理指标 如何使用AI进行企业级BI
热门文章
- 5个对初学者友好的Python自动化脚本
- 使用Python和Olostep在3分钟内爬取7000个网页
- 时间序列分析和建模的7个顶级Python库
- 2026年成为AI架构师的路线图
- 如何将Python脚本转换为AI代理
- 5分钟详解9个关键LLM推理指标
- 如何为你的AI代理添加记忆
- 我用Hermes代理、Ollama和本地模型做了什么
- 7个小型专业模型在特定任务上击败大型LLM
- 365 Data Science提供免费AI和数据课程:100%无限制访问至2020年11月
#content_wrapper end
© 2026
Guiding Tech Media
|
关于
联系我们
广告合作
隐私政策
服务条款
2026年11月12日由Olumide Shittu发布
blank
不,谢谢!
/.main_wrapper
<script defer type="text/javascript" src="https://s7.addthis.com/js/300/addthis_widget.js#pubid=gpsaddthis"></script>
noptimize
/noptimize