Netflix Turns Operational Data Into a Knowledge Graph for AI-Driven Observability

TL;DR · AI 摘要
Netflix通过构建本体论驱动的知识图谱,将操作数据转化为AI驱动的可观测性,显著提升故障排查效率。
核心要点
- 知识图谱使应用回归调查时间从4小时缩短至分钟级
- 采用RDF/OWL/SPARQL标准构建统一操作本体模型
- QuipuDB分布式RDF数据库支撑每秒3800万日志事件处理
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Netflix知识图谱架构
- 本体论模型
- RDF/OWL/SPARQL标准
- 操作实体关系定义
- 技术实现
- QuipuDB存储
- enrichers数据管道
- 应用价值
- 根因分析加速
- 自愈基础设施
金句 / Highlights
值得收藏与分享的关键句。
每日处理20亿请求却需4小时排查故障,知识图谱使效率提升90%
QuipuDB基于Rust的redb引擎构建,支撑每秒3800万日志事件
enrichers管道结合LLM与概率算法处理非结构化运维数据
Netflix将运营数据转化为知识图谱以实现AI驱动的可观测性 - InfoQ
InfoQ 首页 News Netflix将运营数据转化为知识图谱以实现AI驱动的可观测性
DevOps
护栏而非门禁:如何在不阻碍开发者的情况下治理AI工具支出(12月10日网络研讨会)
Netflix将运营数据转化为知识图谱以实现AI驱动的可观测性
2026年11月13日 3分钟阅读
作者:
- Craig Risi
#### 关注我们
Youtube
232K 粉丝
26K 粉丝
新
RSS
19K 读者
X
57.1k 粉丝
21K 点赞
Bluesky
收听本文 -
0:00
音频准备就绪
您的浏览器不支持音频元素。
正常
1.25x
1.5x
喜欢
新下拉阅读列表
- 阅读列表
Netflix正在开发一个本体驱动的知识图谱,以加速生产环境调查,并为AI代理提供对其运营环境的共享理解。该平台将应用程序、事件、部署、告警和基础设施依赖关系的信息连接起来,解决一个可能导致工程师耗费数小时在不同系统中拼凑信息的问题。
该公司声称每天处理超过20亿次请求,每秒处理多达3800万条实时日志事件。在2024年11月的Jake Paul-Mike Tyson拳赛期间,其基础设施支持了约6500万次并发流。然而,调查一个典型的应用回归问题可能需要约四小时,其中大部分时间都花在重建系统间关系上,而非分析底层数据。
Netflix的解决方案是通过运营本体和知识图谱明确这些关系,为自动化根本原因分析乃至自愈基础设施奠定基础。
Netflix已经在其应用和基础设施中收集了指标、事件、日志和追踪(MELT)数据。然而,这些信号分布在告警、事件管理、部署工具和工程沟通平台等系统中。
一个应用回归问题可能源于客户端发布、实验、基础设施负载削减,或下游多个依赖服务。尽管每个系统都包含有用信息,但工程师往往需要手动连接证据。
Netflix识别出缺失的能力是:以一致的方式描述不仅单个组件,还要描述它们之间的关系。
其可观测性本体提供了这种通用模型,定义了运营实体、属性及其关系。它采用RDF、OWL、SHACL和SPARQL等既定标准,而生成的知识图谱则存储在QuipuDB中——这是Netflix基于Rust的redb存储引擎构建的分布式RDF数据库。
该图谱通过Netflix称为"丰富器"的组件管道进行填充。这些组件从运营系统中获取信息,并将其转换为结构化关系,以主语-谓语-宾语三元组形式表示。
部分丰富过程是确定性的,而其他阶段则使用大型语言模型(LLMs)和概率技术来解释非结构化信息。Netflix通过严格的验证规则约束这些输出,包括一致的实体类型、URI命名规范以及与其软件目录的校验。
Netflix 还会从事件讨论中捕获信息,包括假设、被拒绝的解释以及缓解决策。这使得人类的推理过程能够成为运营知识库的一部分,而不是在事件讨论结束后就消失。
其关联引擎会分析 13 种类型的信号,包括日志错误、指标异常、追踪记录、告警、事件、部署、配置变更、实验和代码变更。它会寻找潜在的因果关系,通过评估时间接近性和严重性等证据,生成排序后的假设。
Netflix 将该过程描述为一个知识飞轮:观察、丰富、推断和适应。随着调查产生新的见解,这些关系可以为未来的检测和分析提供信息。知识图谱还支撑着 AutoRCA,这是 Netflix 内部用于根本原因分析的智能代理系统。
与其让专业代理交换松散结构化的发现结果,他们使用本体作为通用接口。分析追踪记录、日志或部署的代理可以就相同的运营实体贡献信息,而无需理解彼此的内部实现。
Netflix 计划利用这一基础,为事件生成排序且有证据支持的解释,同时保留人类对拟议变更和补救措施的批准权。
Datadog、Dynatrace 和 Splunk 等平台已经能够关联可观测性信号,并越来越多地将人工智能融入事件调查。Netflix 的方法强调这些信号背后的语义模型,使运营关系持久化,并直接向工程师和机器开放。
该公司最终希望将这一能力从自动化根本原因分析扩展到自动化补救和自愈基础设施。它还计划探索与统一数据架构的集成,将运营信息连接到更广泛的业务和技术领域。
作者信息主容器
关于作者
章节标题
每个作者的主要信息容器
#### Craig Risi
显示更多
显示更少
#### 本内容属于 DevOps 主题
##### 相关主题:
- DevOps
- 人工智能、机器学习与数据工程
- 可观测性
- 人工智能编码
- AIOps
- Netflix
- 相关编辑内容
- 相关赞助商 AI 的物理限制:人工智能如何重塑数据中心
- 相关赞助商 PostgreSQL 专为时间序列规模而生 无需牺牲性能即可使用 PostgreSQL 处理海量时间序列数据。了解 Tiger Data 如何实现高速数据摄入、快速查询和可扩展存储。了解更多。
InfoQ 新闻通讯
每周内容精选,每周二发送。加入超过 25 万名高级开发者的社区。查看示例
我们保护您的隐私。