Milvus(@milvusio)

Congratulations to the Toss Securities Data Infra team on getting 41% more search throughput out of ...

8.5内容质量
Congratulations to the Toss Securities Data Infra team on getting 41% more search throughput out of ...

TL;DR · AI 摘要

Toss Securities通过优化Milvus的NUMA配置,使搜索吞吐量提升41%,同时保持召回率不变。

核心要点

  • 使用HNSW与8位量化技术减少内存使用,提升搜索效率。
  • 通过NUMA节点配置,将跨socket读取降低至0.8%,显著优化性能。
  • 构建了基于测量数据的服务器需求估算工具,用于新搜索工作负载的容量规划。

结构提纲

按章节快速跳转。

  1. Toss Securities通过优化Milvus平台,实现了搜索吞吐量的显著提升。

  2. Toss Securities构建了一个基于Milvus的本地化向量搜索平台,以支持多个服务。

  3. 通过HNSW与8位量化技术减少内存使用,并优化NUMA配置以降低跨socket读取。

  4. 搜索吞吐量从405提升至572查询/秒,同时保持召回率@10为95.41%。

  5. 团队构建了基于测量数据的服务器需求估算工具,用于容量规划。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Milvus性能优化实践
    • 优化方法
      • HNSW与8位量化
      • NUMA节点配置
    • 优化成果
      • 搜索吞吐量提升41%
      • 召回率保持95.41%
    • 工具与实践
      • 服务器需求估算工具

金句 / Highlights

值得收藏与分享的关键句。

#Milvus#向量搜索#NUMA优化#Kubernetes#性能调优
打开原文

Milvus on X: “祝贺Toss Securities数据基础设施团队在相同的三台服务器上实现了搜索吞吐量提升了41%!🎉 Toss Securities是韩国一家数字经纪公司,拥有超过1000万注册用户。我们很高兴看到该团队使用Milvus构建了一个用于多个服务的本地化向量搜索平台。在平台上线前,该团队对1亿个向量进行了搜索基准测试。他们使用了HNSW和8位量化技术来减少内存使用。在对Milvus QueryNodes进行性能分析时,他们发现近一半的DRAM读取操作跨越了CPU插槽。他们配置Kubernetes,使每个QueryNode的CPU核心和索引内存位于同一个NUMA节点上,从而将跨插槽读取降低到了0.8%。Toss Securities测量到每秒572个向量查询,从原来的405个提升,同时保持召回率@10不变,为95.41%。该团队利用这些测量结果构建了一个计算器,用于估算每个新的搜索工作负载需要多少服务器。感谢Toss Securities团队使用Milvus构建系统,并分享他们在NUMA调优和容量规划方面的经验。阅读完整的Toss Tech工程文章(韩文)。

toss.tech/article/milvus…

#builtwithmilvus

2026年11月13日 下午3:10

·

154

浏览量

1