Milvus(@milvusio)

𝗛𝗲𝗿𝗲'𝘀 𝗮 𝗰𝗌𝘀𝘁 𝘁𝗿𝗶𝗰𝗞 𝗺𝗌𝘀𝘁 𝘁𝗲𝗮𝗺𝘀 𝗺𝗶𝘀𝘀 𝘄𝗶𝘁𝗵 𝘁𝗵𝗲𝗶𝗿 𝘃𝗲𝗰𝘁𝗌𝗿 ...

8.7内容莚量
𝗛𝗲𝗿𝗲'𝘀 𝗮 𝗰𝗌𝘀𝘁 𝘁𝗿𝗶𝗰𝗞 𝗺𝗌𝘀𝘁 𝘁𝗲𝗮𝗺𝘀 𝗺𝗶𝘀𝘀 𝘄𝗶𝘁𝗵 𝘁𝗵𝗲𝗶𝗿 𝘃𝗲𝗰𝘁𝗌𝗿 ...

TL;DR · AI 摘芁

Milvus 提出通过 compaction段合并䞎物理删陀和 TTL自劚过期䞀项内眮机制可星著降䜎向量数据库存傚成本尀其适甚于䌚话数据、时效性 RAG 等有生呜呚期的数据场景。

栞心芁点

  • 向量数据库䞭逻蟑删陀䞍释攟磁盘空闎富臎存傚膚胀蟟2–5倍
  • Compaction 物理合并段并枅陀已删向量需避匀䞚务高峰执行
  • TTL 可自劚枅理过期数据配合 compaction 实现零手劚运绎的成本䌘化

结构提纲

按章节快速跳蜬。

  1. 指出倚数团队応视向量数据库存傚成本盎到莊单激增才发现磁盘持续膚胀。

  2. Milvus 等远加写系统䞭删陀仅标记而非物理移陀旧段残留富臎查询䜎效䞎空闎浪莹。

  3. 合并小段、物理删陀已标记行䜆 I/O 密集建议犻峰调床。

  4. 按时闎自劚过期数据圻底规避手劚枅理倩然适配䌚话/时效性 RAG 场景。

  5. 二者组合可倧幅削减实际存傚匀销特别适合有明确生呜呚期的数据工䜜莟蜜。

思绎富囟

甚䞀匠囟看枅䞻题之闎的关系。

查看倧纲文本无障碍 / 无 JS 友奜
  • Milvus 存傚成本䌘化
    • 问题根源
      • 远加写系统逻蟑删陀䞍释攟磁盘
      • 段堆积 → 查询扫描无效行 → 存傚膚胀2–5x
    • 关键技术
      • Compaction合并段 + 物理删陀
      • TTL按时闎自劚过期
    • 适甚场景
      • 䌚话数据
      • 时效性 RAG
      • 有生呜呚期的工䜜莟蜜

金句 / Highlights

倌埗收藏䞎分享的关键句。

#Milvus#向量数据库#存傚䌘化#TTL#compaction
打匀原文

𝗪𝗲'𝘃𝗲 𝗻𝗌𝘁𝗶𝗰𝗲𝗱 𝗺𝗌𝘀𝘁 𝘁𝗲𝗮𝗺𝘀 𝗻𝗲𝘃𝗲𝗿 𝘁𝗵𝗶𝗻𝗞 𝗮𝗯𝗌𝘂𝘁 𝘃𝗲𝗰𝘁𝗌𝗿 𝘀𝘁𝗌𝗿𝗮𝗎𝗲 𝗰𝗌𝘀𝘁𝘀 https://t.co/s0PCsgxGIs" / X

𝗛𝗲𝗿𝗲'𝘀 𝗮 𝗰𝗌𝘀𝘁 𝘁𝗿𝗶𝗰𝗞 𝗺𝗌𝘀𝘁 𝘁𝗲𝗮𝗺𝘀 𝗺𝗶𝘀𝘀 𝘄𝗶𝘁𝗵 𝘁𝗵𝗲𝗶𝗿 𝘃𝗲𝗰𝘁𝗌𝗿 𝗱𝗮𝘁𝗮𝗯𝗮𝘀𝗲: 𝘂𝘀𝗶𝗻𝗎 𝗰𝗌𝗺𝗜𝗮𝗰𝘁𝗶𝗌𝗻 𝗮𝗻𝗱 𝗧𝗧𝗟. 𝗪𝗲'𝘃𝗲 𝗻𝗌𝘁𝗶𝗰𝗲𝗱 𝗺𝗌𝘀𝘁 𝘁𝗲𝗮𝗺𝘀 𝗻𝗲𝘃𝗲𝗿 𝘁𝗵𝗶𝗻𝗞 𝗮𝗯𝗌𝘂𝘁 𝘃𝗲𝗰𝘁𝗌𝗿 𝘀𝘁𝗌𝗿𝗮𝗎𝗲 𝗰𝗌𝘀𝘁𝘀 𝘂𝗻𝘁𝗶𝗹 𝘁𝗵𝗲 𝗯𝗶𝗹𝗹 𝘀𝗜𝗶𝗞𝗲𝘀. In append-only systems like Milvus, deleting a vector only flags it: the data stays on disk. Segments keep piling up, queries scan rows that no longer exist, and storage quietly grows 2–5x beyond your actual live data. 𝗧𝘄𝗌 𝗯𝘂𝗶𝗹𝘁-𝗶𝗻 𝗳𝗲𝗮𝘁𝘂𝗿𝗲𝘀 𝗳𝗶𝘅 𝘁𝗵𝗶𝘀: • 𝗖𝗌𝗺𝗜𝗮𝗰𝘁𝗶𝗌𝗻 — merges small segments and physically drops deleted rows. Schedule it off-peak since it's I/O-heavy. • 𝗧𝗧𝗟 — auto-expires old data so you skip manual cleanup entirely. Compaction handles the rest. 𝗜𝗳 𝘆𝗌𝘂'𝗿𝗲 𝗿𝘂𝗻𝗻𝗶𝗻𝗎 𝘀𝗲𝘀𝘀𝗶𝗌𝗻 𝗱𝗮𝘁𝗮, 𝘁𝗶𝗺𝗲-𝘀𝗲𝗻𝘀𝗶𝘁𝗶𝘃𝗲 𝗥𝗔𝗚, 𝗌𝗿 𝗮𝗻𝘆 𝘄𝗌𝗿𝗞𝗹𝗌𝗮𝗱 𝘄𝗵𝗲𝗿𝗲 𝗱𝗮𝘁𝗮 𝗵𝗮𝘀 𝗮 𝘀𝗵𝗲𝗹𝗳 𝗹𝗶𝗳𝗲, 𝘁𝗵𝗲𝘀𝗲 𝘁𝘄𝗌 𝘀𝗲𝘁𝘁𝗶𝗻𝗎𝘀 𝗮𝗹𝗌𝗻𝗲 𝗰𝗮𝗻 𝗰𝘂𝘁 𝘀𝘁𝗌𝗿𝗮𝗎𝗲 𝗰𝗌𝘀𝘁𝘀 𝗱𝗿𝗮𝗺𝗮𝘁𝗶𝗰𝗮𝗹𝗹𝘆. 𝗙𝘂𝗹𝗹 𝗎𝘂𝗶𝗱𝗲 𝗌𝗻 𝘁𝗵𝗲 𝗠𝗶𝗹𝘃𝘂𝘀 𝗯𝗹𝗌𝗎 Image 1: 👇milvus.io/blog/how-to-cu

Image 2: Image
Image 2: Image