Build Once, Grow Freely: Search and Vector Search on Atlas Infinite
TL;DR · AI 摘要
MongoDB推出Atlas Infinite,通过分离存储与计算实现弹性扩展,支持搜索和向量搜索,提升agentic应用性能。
核心要点
- Atlas Infinite分离存储和计算,读副本上线时间缩短至分钟级
- 单分片支持128TB存储,无需为预分配容量付费
- 向量搜索与数据库原生集成,避免多系统拼接
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Atlas Infinite架构
- 存储与计算分离
- 独立弹性扩展
- 按实际存储付费
- 检索层优化
- 原生集成搜索
- 向量搜索支持
金句 / Highlights
值得收藏与分享的关键句。
存储和计算分离后,读副本上线时间从小时级缩短至分钟级
单分片支持128TB存储,避免为增加磁盘空间而频繁分片
向量搜索数据与应用共享同一基础架构,无需重新设计系统
一次构建,自由扩展:在 Atlas Infinite 上的搜索与向量搜索 | MongoDB
企业工作负载正在变得更大、更复杂且更难预测,尤其是随着智能体应用的出现,带来了突发且不可预测的需求。大多数数据平台并未为这种现实而设计——为了应对需求,它们将人工智能服务强行附加在老旧的架构上,迫使客户管理、监控并为多个系统付费以完成任务。这种碎片化会减缓团队的工作效率,并限制智能体应用的运行速度和扩展能力。
在传统数据库架构中,存储与执行查询的机器紧密绑定。扩展规模、添加副本或恢复备份都依赖于在不同机器之间复制数据,数据库越大,这一过程所需的时间就越长。我的同事 Abhishek Chauhan 将这种现象称为“存储引力”。“数据并不想移动”,他在 MongoDB 工程博客中写道。数据量越大,这种引力就越强。
MongoDB 正是为应对这种现实而打造了 Atlas Infinite;它专为通过灵活的弹性扩展吸收需求激增而设计。无论你是启动首个原型,还是在生产环境中处理 PB 级数据,Atlas Infinite 都能让你在与自身规模同步扩展的基础架构上构建应用,而无需强制重构架构。MongoDB Search 和 Vector Search 在 Atlas Infinite 上的公开预览版本中已得到支持,这意味着你的数据库和检索功能可以统一在同一个平台中运行,无需额外拼接组件。
Atlas Infinite 的工作原理
作为 MongoDB Atlas 的一项新部署选项,Atlas Infinite 将计算与存储分离,使两者能够独立且快速地扩展。存储被迁移至一个全托管层,负责跨可用区的复制、持久性和备份,计算不再需要携带数据。
这种改变的影响是巨大的。由于无需复制数据,只读副本可在几分钟内上线。单个分片可容纳高达 128TB 的数据,因此你不再需要仅仅为了增加磁盘空间而进行分片。你只需为实际存储的数据付费,而非预先分配的容量,这意味着小型团队无需升级到更高规格的计算层级来获取更多磁盘空间。所有操作均由相同的 MongoDB API、驱动程序和工具驱动,因此你的应用程序无需任何更改。
在智能体应用增长最快的领域——检索层,存储与计算的分离尤为重要。每个助手的回答和每个智能体的行动都始于对数据的搜索,而支撑这些搜索的数据(尤其是向量嵌入)可能迅速增长。通过在 Atlas Infinite 上原生运行 MongoDB Search 和 Vector Search,这些数据可以与应用的其他部分共享同一基础架构,并在无需重构的情况下自由扩展。只需构建一次智能体工作负载,即可随着需求增长持续扩展。
图1. 在 Atlas Infinite 中,计算和存储作为独立的层。
数据库内构建的检索功能
许多检索系统由多个独立组件拼凑而成——数据库、搜索引擎和向量数据库——这意味着需要运行所有这些独立组件,并管理保持系统同步的管道。在 Atlas Infinite 上,检索是平台的一部分,因此需要构建、保护和维护的组件更少。以下是具体表现:
- 一个平台,无需拼接整合:在 Atlas Infinite 上,数据库与检索功能无缝协作,无需单独部署、同步或监控搜索引擎或向量数据库。MongoDB Atlas 会自动将索引与数据保持同步,因此团队无需构建或维护任何管道,也无需将敏感数据复制到额外系统中进行安全防护。借助 Atlas Infinite,检索功能已内建,同时具备按需扩展的能力,可吸收不可预测的需求增长且零资源浪费。
- 从小规模起步,永不超出数据平台容量:团队可以从包含语义搜索功能的 5GB 原型开始,基于相同基础持续构建。无需为两个基础设施进行容量规划和维护,存储会随着数据自动扩展,仅按实际存储的数据量计费。在 Atlas Infinite 上,搜索背后的操作数据可扩展至 PB 级规模,当应用程序爆发增长时无需重新部署平台。
- 代理记忆与上下文检索:为代理提供一个统一位置来存储和检索上下文、历史记录和状态信息,与操作数据集成。支持数千个代理同时访问检索层,同时在单个可扩展的持久化系统中持久化代理记忆和上下文,满足其扩展需求。
图2. 在 Atlas Infinite 上,搜索和向量搜索与数据库并行运行,索引自动同步,数据在 Atlas 管理的存储中仅存储一次。
Atlas Infinite 如何处理大规模文本和向量工作负载
将计算与存储分离的数据库架构也改变了大规模检索工作负载的扩展行为和经济性。文本和向量数据首先存储在数据库中,驱动存储需求。由于 Atlas Infinite 将存储与计算独立管理,经济性取决于数据的一个特性:压缩效率。
数据库通过压缩减少磁盘上的数据量,其原理是寻找重复内容。文本中充满重复内容:常见词汇、重复字段名、可预测的结构。MongoDB 中的文本通常压缩至原始大小的 40%。嵌入(embedding)是几乎无重复的十进制值数组,因此压缩率仅为 13%。实际上,向量在磁盘上占用的空间与在应用程序中占用的空间相当。
每种部署方式如何存储这些数据
Atlas Core 使用附加存储卷。每个副本集节点在其磁盘上保存完整数据副本,磁盘在预分配时预留了扩展空间,计算和存储以匹配的层级提供。这种方式为每个节点提供完整的隔离和可预测的性能,适合许多工作负载,尤其是数据和查询负载同步增长的场景。
向量工作负载通常由存储驱动,因为高维嵌入的体积非常大。RAG 知识库可能包含数百GB的嵌入,这使得存储需求相对于查询量显著增加。在 Atlas Core 上,存储需求可能驱动扩展决策:一旦超出某层级的最大磁盘容量,即使不需要更多计算资源,也必须升级到更高层级以获得更多存储空间,而非常大的数据集最终需要分片处理。
在 Atlas Infinite 上,计算和存储可以独立扩展。存储费用按您存储的每 GB(未压缩)逻辑数据计费,按小时计量。跨可用区的复制在存储层内部完成,不会产生额外费用。无需预留空间,且由于每个分片最多可容纳 128 TB,数据集的增长不会迫使您升级到更高计算层级或增加更多分片。由于嵌入向量几乎无法压缩,其逻辑大小和磁盘大小几乎相同,因此您只需为实际存储的数据付费,而无需为底层的副本和预留空间付费。当向量集合增长到数亿文档时,这种计费模式将成为优势。
以下是一个示例。对于一个包含 1 亿个文档的集合,每个文档包含一个 1024 维 float32 嵌入向量和约 1 KB 的其他字段,未压缩的存储空间约为 500 GB。假设查询流量适中,M30 集群层级的计算能力就已足够。
在 Atlas Core 上,由于嵌入向量几乎无法压缩,数据在磁盘上会缩小到约 435 GB。每个节点还需要为操作日志(oplog)和集合增长预留空间。在 1.3 倍预留空间的情况下,每个节点需要约 565 GB 空间,超过 M30 支持的 512 GB,因此集群必须升级到 M40 以满足磁盘需求。而在 Atlas Infinite 上,集群可以保持在满足查询需求的计算层级,存储费用仅针对其持有的 500 GB 数据计费。由于存储仅计费一次且无需升级磁盘层级,包括搜索节点在内的总月成本比 Core 降低约 25%。在 10 亿个向量(约 5 TB)时,成本降低约 30%,且随着向量数据增长,这一差距会持续扩大。这些数据基于美国东部地区(US East)的列表价格计算,搜索节点的规模已调整为能容纳索引的最小层级,因此您的实际结果可能有所不同。
差异较小的场景
对于以文本为主的搜索工作负载,Atlas Infinite 也能带来总拥有成本(TCO)优势,在多 TB 规模下可降低约 5% 至 10% 的成本。文本压缩效果较好,因此 Core 的每 GB 存储成本本身已经较低。Atlas Infinite 的优势在于延迟计算层级升级并推迟磁盘分片。在 500 GB 以下,两种部署方案的成本大致相当,因此较小的工作负载可以在 Atlas Infinite 上获得增长空间而无需支付额外费用。根据您预期的弹性和增长情况选择部署方案。
在 Atlas Infinite 上开始使用搜索和向量搜索
MongoDB 搜索和向量搜索现已在 AWS 上的 Atlas Infinite 公共预览版中提供。将 Atlas Infinite 作为下一个工作负载的部署选项,添加搜索索引的方式与在 Atlas Core 上相同,并在应用增长时继续构建相同的底层架构。无论您是在原型设计 AI 功能还是运行大型生产应用,都可以从小规模开始并持续扩展。从 Atlas Infinite 文档 开始。