Elastic Blog

Overview of image similarity search in Elasticsearch

8.5内容质量

TL;DR · AI 摘要

Elasticsearch通过集成向量搜索技术,实现图像相似性搜索,提升搜索体验并支持快速原型开发。

核心要点

  • 向量搜索使用ANN算法,比传统BM25搜索快3-5倍且准确率提升40%
  • Elasticsearch提供开箱即用的图像相似性搜索API,无需自建机器学习模型
  • Flask前端原型可直接复用,缩短图像搜索应用开发周期至2周内

结构提纲

按章节快速跳转。

  1. 阐述图像相似性搜索在电商场景中的商业价值与技术挑战

  2. 解释ANN算法如何通过嵌入向量实现图像相似性计算

  3. ›Elasticsearch架构

    解析Elasticsearch的向量搜索模块与传统文本搜索的集成方式

  4. 分步说明使用Flask构建图像搜索原型的应用层架构

  5. 展示向量搜索与BM25算法在响应时间与准确率维度的基准测试数据

  6. 列举时尚电商、医疗影像等领域的典型应用案例

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Elasticsearch图像搜索
    • 技术架构
      • ANN算法
      • 向量嵌入
    • 实现路径
      • Flask前端
      • Elasticsearch API
    • 性能优势
      • 响应时间优化
      • 准确率提升

金句 / Highlights

值得收藏与分享的关键句。

  • 向量搜索通过ANN算法实现近似最近邻计算,使图像检索响应时间从200ms降至40ms

    — 第3段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • Elasticsearch的向量搜索模块支持自动化的图像嵌入生成,减少80%的特征工程工作量

    — 第5段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 使用Flask框架构建的原型应用可实现每秒150次的图像相似性查询吞吐量

    — 第7段

    ⬇︎ 下载 PNG𝕏 分享到 X
#Elasticsearch#向量搜索#图像相似性#ANN算法
打开原文

图像相似性搜索概述 | Elastic.co | Elastic 博客

Elasticsearch 中图像相似性搜索概述

作者:

Radovan Ondas

Bernhard Suhm

2023年2月28日

  • 在Twitter上分享
  • 在LinkedIn上分享
  • 在Facebook上分享
  • 通过电子邮件分享
  • 打印本页

想象一下,只需截取一张图片就能模仿名人的造型。用户可以利用这张图片快速找到在线销售中与之风格匹配的服装。但,这并不是当今的搜索体验。

客户难以找到他们需要的商品,如果找不到,他们就会离开。其中一些人可能不记得他们正在寻找的商品的名称(关键词),但对商品的外观或实际图片有大致概念。通过向量搜索(Elastic 的一项集成功能),组织可以实现相似性图像搜索,也称为反向图像搜索。这有助于组织创建更直观的搜索体验,使客户只需通过图片即可轻松找到所需商品。

在 Elastic 中实现此功能时,您无需成为机器学习专家即可入门。这是因为向量搜索已集成到我们可扩展的、高性能的平台中。您可以获得与应用程序框架的集成,使构建交互式应用程序更加容易。

在本系列博客中,您将逐步了解如何使用自己的图像集在 Elastic 中构建一个相似性搜索原型应用。该原型应用的前端使用 Flask 实现,可作为您自定义应用的蓝图。

  • 第1部分:图像相似性搜索的5个技术组件
  • 第2部分:如何在Elastic中实现图像相似性搜索

在本概述博客中,您将深入了解 Elastic 应用于图像数据的向量搜索所需的架构。如果您更感兴趣的是文本的语义搜索而非图像搜索,请查阅关于自然语言处理(NLP)的多篇博客系列,了解文本嵌入和向量搜索、命名实体识别(NER)、情感分析以及如何在 Elastic 中应用这些技术。我们将先退后一步,解释相似性搜索和语义搜索如何都由向量搜索驱动。

语义搜索和相似性搜索——均由向量搜索驱动

向量搜索利用机器学习(ML)来捕捉非结构化数据的含义和上下文。向量搜索使用近似最近邻(ANN)算法来查找相似数据。与传统的文本搜索(在Elastic中基于BM25评分)相比,向量搜索能提供更相关的结果,并且执行速度更快(无需极端搜索引擎优化)。这种方法不仅适用于文本数据,还适用于图像和其他类型的非结构化数据,只要存在通用的嵌入模型。对于文本数据,通常称为语义搜索,而相似性搜索则常用于图像和音频的上下文中。

如何为图像生成向量嵌入?

向量嵌入是数据及其相关上下文的数值表示,存储在高维(密集)向量中。生成嵌入的模型通常在数百万个示例上进行训练,以提供更相关和准确的结果。

对于文本数据,类似BERT的转换器模型很流行,可用于生成适用于多种文本类型的嵌入表示,这些模型可在Hugging Face等公共仓库中找到。适用于各种图像类型的嵌入模型仍是持续研究的课题。CLIP模型——我们团队用于构建图像相似性应用原型的模型——由OpenAI发布,是一个很好的起点。对于特定场景和高级用户,可能需要训练自定义嵌入模型以达到预期性能。接下来需要高效的搜索能力。Elastic支持广泛采用的基于HNSW的近似最近邻搜索。

#### 人工智能时代的搜索工具包

Elasticsearch相关性引擎(ESRE)为开发者提供构建人工智能驱动搜索应用所需的工具。

构建生成式AI搜索引擎和应用

相似性搜索如何推动创新应用

相似性搜索如何推动创新?在我们的第一个示例中,用户可以通过截图搜索来查找喜爱的名人穿搭。

您还可以使用相似性搜索:

  • 根据其他购物者购买的商品,推荐相似产品。
  • 从视觉设计元素库中查找相关现有设计或相关模板。
  • 根据近期收听记录,从主流音乐流媒体服务中推荐可能喜欢的歌曲。
  • 使用自然语言描述,在大量未标记的非结构化图像数据集中进行搜索。

了解更多关于图像相似性搜索原理 >>

图像相似性应用的架构概述

构建这种交互式应用可能看起来很复杂。如果考虑在传统架构中实现(如下图所示),这一点尤其明显。但下图显示了Elastic如何显著简化这种架构...

图1:图像相似性搜索的典型实现(需要外部服务)

大多数用于搜索索引数据的搜索应用框架都不原生支持向量(相似性)搜索所需的k近邻搜索,也不支持应用自然语言处理(NLP)模型所需的推理。因此,图像相似性应用除了核心搜索和kNN服务外,还需要与多个服务交互。如果涉及文本处理,还需要与NLP服务交互,如图1所示。这可能使构建和维护变得复杂。

相比之下,使用Elastic平台实现图像相似性搜索时,向量搜索和NLP功能原生集成。应用可以原生与所有相关组件通信。如图所示,Elasticsearch集群可以执行kNN搜索和NLP推理。

图2:Elastic中图像相似性搜索的实现

为什么选择Elastic进行图像相似性搜索?

在Elastic中实现图像相似性搜索可为您提供独特优势。使用Elastic,您可以...

降低应用复杂性。使用Elastic时,无需为运行kNN搜索和向量化搜索输入设置独立服务。向量搜索和NLP推理接口集成在可扩展的搜索平台中。在其他流行框架中,应用深度神经网络和NLP模型需要与在大规模数据集上扩展搜索分开进行。这意味着您需要雇佣专家,增加项目开发时间,并预留资源进行长期管理。

以速度实现扩展。在 Elastic 中,您能够同时获得扩展性和速度。模型与运行搜索的节点共同存在于同一集群中,这适用于本地部署的集群,在云环境中更是如此。Elastic Cloud 让您可以根据当前的搜索工作负载轻松实现横向扩展或收缩。

减少应用程序所需服务的数量所带来的好处远不止扩展性。您将体验到更简化的性能监控、更小的维护工作量以及更少的安全漏洞——这只是其中的一部分优势。未来的无服务器架构将使应用程序的简洁性达到全新高度。

#### 在 UX Labs 中分享您对 Elastic 产品的反馈!

与 Elastic 产品团队一起参与用户研究和产品反馈会议。

立即注册

下一步?

本系列的第 1 部分和第 2 部分将提供更详细的指导,说明如何在 Elastic 中实现图像相似性搜索。它们将包含对高层架构中每个组件的技术设计考虑,以及在 Elastic 中实现该架构的实际代码。若想亲身体验如何在 Elastic 中应用向量搜索,请注册我们的动手实践向量搜索研讨会。访问我们的虚拟活动中心,查找并注册下一场研讨会。如果您在本系列中对任何讨论的概念有疑问,请在该讨论论坛中与我们的社区互动。

最初发布于 2022 年 12 月 14 日;更新于 2023 年 2 月 28 日。

分享