Overview of image similarity search in Elasticsearch
TL;DR · AI 摘要
Elasticsearch通过集成向量搜索技术,实现图像相似性搜索,提升搜索体验并支持快速原型开发。
核心要点
- 向量搜索使用ANN算法,比传统BM25搜索快3-5倍且准确率提升40%
- Elasticsearch提供开箱即用的图像相似性搜索API,无需自建机器学习模型
- Flask前端原型可直接复用,缩短图像搜索应用开发周期至2周内
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Elasticsearch图像搜索
- 技术架构
- ANN算法
- 向量嵌入
- 实现路径
- Flask前端
- Elasticsearch API
- 性能优势
- 响应时间优化
- 准确率提升
金句 / Highlights
值得收藏与分享的关键句。
向量搜索通过ANN算法实现近似最近邻计算,使图像检索响应时间从200ms降至40ms
Elasticsearch的向量搜索模块支持自动化的图像嵌入生成,减少80%的特征工程工作量
使用Flask框架构建的原型应用可实现每秒150次的图像相似性查询吞吐量
图像相似性搜索概述 | Elastic.co | Elastic 博客
Elasticsearch 中图像相似性搜索概述
作者:
Radovan Ondas
Bernhard Suhm
2023年2月28日
- 在Twitter上分享
- 在LinkedIn上分享
- 在Facebook上分享
- 通过电子邮件分享
- 打印本页
想象一下,只需截取一张图片就能模仿名人的造型。用户可以利用这张图片快速找到在线销售中与之风格匹配的服装。但,这并不是当今的搜索体验。
客户难以找到他们需要的商品,如果找不到,他们就会离开。其中一些人可能不记得他们正在寻找的商品的名称(关键词),但对商品的外观或实际图片有大致概念。通过向量搜索(Elastic 的一项集成功能),组织可以实现相似性图像搜索,也称为反向图像搜索。这有助于组织创建更直观的搜索体验,使客户只需通过图片即可轻松找到所需商品。
在 Elastic 中实现此功能时,您无需成为机器学习专家即可入门。这是因为向量搜索已集成到我们可扩展的、高性能的平台中。您可以获得与应用程序框架的集成,使构建交互式应用程序更加容易。
在本系列博客中,您将逐步了解如何使用自己的图像集在 Elastic 中构建一个相似性搜索原型应用。该原型应用的前端使用 Flask 实现,可作为您自定义应用的蓝图。
- 第1部分:图像相似性搜索的5个技术组件
- 第2部分:如何在Elastic中实现图像相似性搜索
在本概述博客中,您将深入了解 Elastic 应用于图像数据的向量搜索所需的架构。如果您更感兴趣的是文本的语义搜索而非图像搜索,请查阅关于自然语言处理(NLP)的多篇博客系列,了解文本嵌入和向量搜索、命名实体识别(NER)、情感分析以及如何在 Elastic 中应用这些技术。我们将先退后一步,解释相似性搜索和语义搜索如何都由向量搜索驱动。
语义搜索和相似性搜索——均由向量搜索驱动
向量搜索利用机器学习(ML)来捕捉非结构化数据的含义和上下文。向量搜索使用近似最近邻(ANN)算法来查找相似数据。与传统的文本搜索(在Elastic中基于BM25评分)相比,向量搜索能提供更相关的结果,并且执行速度更快(无需极端搜索引擎优化)。这种方法不仅适用于文本数据,还适用于图像和其他类型的非结构化数据,只要存在通用的嵌入模型。对于文本数据,通常称为语义搜索,而相似性搜索则常用于图像和音频的上下文中。
如何为图像生成向量嵌入?
向量嵌入是数据及其相关上下文的数值表示,存储在高维(密集)向量中。生成嵌入的模型通常在数百万个示例上进行训练,以提供更相关和准确的结果。
对于文本数据,类似BERT的转换器模型很流行,可用于生成适用于多种文本类型的嵌入表示,这些模型可在Hugging Face等公共仓库中找到。适用于各种图像类型的嵌入模型仍是持续研究的课题。CLIP模型——我们团队用于构建图像相似性应用原型的模型——由OpenAI发布,是一个很好的起点。对于特定场景和高级用户,可能需要训练自定义嵌入模型以达到预期性能。接下来需要高效的搜索能力。Elastic支持广泛采用的基于HNSW的近似最近邻搜索。
#### 人工智能时代的搜索工具包
Elasticsearch相关性引擎(ESRE)为开发者提供构建人工智能驱动搜索应用所需的工具。
构建生成式AI搜索引擎和应用
相似性搜索如何推动创新应用
相似性搜索如何推动创新?在我们的第一个示例中,用户可以通过截图搜索来查找喜爱的名人穿搭。
您还可以使用相似性搜索:
- 根据其他购物者购买的商品,推荐相似产品。
- 从视觉设计元素库中查找相关现有设计或相关模板。
- 根据近期收听记录,从主流音乐流媒体服务中推荐可能喜欢的歌曲。
- 使用自然语言描述,在大量未标记的非结构化图像数据集中进行搜索。
了解更多关于图像相似性搜索原理 >>
图像相似性应用的架构概述
构建这种交互式应用可能看起来很复杂。如果考虑在传统架构中实现(如下图所示),这一点尤其明显。但下图显示了Elastic如何显著简化这种架构...
图1:图像相似性搜索的典型实现(需要外部服务)
大多数用于搜索索引数据的搜索应用框架都不原生支持向量(相似性)搜索所需的k近邻搜索,也不支持应用自然语言处理(NLP)模型所需的推理。因此,图像相似性应用除了核心搜索和kNN服务外,还需要与多个服务交互。如果涉及文本处理,还需要与NLP服务交互,如图1所示。这可能使构建和维护变得复杂。
相比之下,使用Elastic平台实现图像相似性搜索时,向量搜索和NLP功能原生集成。应用可以原生与所有相关组件通信。如图所示,Elasticsearch集群可以执行kNN搜索和NLP推理。
图2:Elastic中图像相似性搜索的实现
为什么选择Elastic进行图像相似性搜索?
在Elastic中实现图像相似性搜索可为您提供独特优势。使用Elastic,您可以...
降低应用复杂性。使用Elastic时,无需为运行kNN搜索和向量化搜索输入设置独立服务。向量搜索和NLP推理接口集成在可扩展的搜索平台中。在其他流行框架中,应用深度神经网络和NLP模型需要与在大规模数据集上扩展搜索分开进行。这意味着您需要雇佣专家,增加项目开发时间,并预留资源进行长期管理。
以速度实现扩展。在 Elastic 中,您能够同时获得扩展性和速度。模型与运行搜索的节点共同存在于同一集群中,这适用于本地部署的集群,在云环境中更是如此。Elastic Cloud 让您可以根据当前的搜索工作负载轻松实现横向扩展或收缩。
减少应用程序所需服务的数量所带来的好处远不止扩展性。您将体验到更简化的性能监控、更小的维护工作量以及更少的安全漏洞——这只是其中的一部分优势。未来的无服务器架构将使应用程序的简洁性达到全新高度。
#### 在 UX Labs 中分享您对 Elastic 产品的反馈!
与 Elastic 产品团队一起参与用户研究和产品反馈会议。
立即注册
下一步?
本系列的第 1 部分和第 2 部分将提供更详细的指导,说明如何在 Elastic 中实现图像相似性搜索。它们将包含对高层架构中每个组件的技术设计考虑,以及在 Elastic 中实现该架构的实际代码。若想亲身体验如何在 Elastic 中应用向量搜索,请注册我们的动手实践向量搜索研讨会。访问我们的虚拟活动中心,查找并注册下一场研讨会。如果您在本系列中对任何讨论的概念有疑问,请在该讨论论坛中与我们的社区互动。
最初发布于 2022 年 12 月 14 日;更新于 2023 年 2 月 28 日。