Elasticsearch 8.15: Accessible semantic search with semantic text and reranking
TL;DR · AI 摘要
Elasticsearch 8.15通过语义文本和重排序功能显著提升搜索相关性,新增Google、Mistral等第三方模型支持。
核心要点
- 语义重排序可提升自然语言搜索结果质量达30%以上(基于内部测试数据)
- 新增Google AI Studio、Mistral等5家第三方模型提供商支持
- 本地Learning to Rank功能正式成为一般可用特性
结构提纲
按章节快速跳转。
介绍Elasticsearch 8.15主要改进方向及性能提升
详细说明semantic text字段类型和reranking机制的工作原理
解释Learning to Rank功能的GA发布及其对搜索结果的影响
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Elasticsearch 8.15新特性
- 语义搜索增强
- semantic text字段类型
- 语义重排序(reranking)
- 模型生态扩展
- Google AI Studio
- Mistral
- Amazon Bedrock
- Anthropic
- 搜索优化
- Learning to Rank GA发布
- 查询规则增强
金句 / Highlights
值得收藏与分享的关键句。
语义重排序通过应用语义相似性模型,可将自然语言搜索Top N结果质量提升30%以上
新增Google AI Studio(embeddings/completions)、Mistral(embeddings)等5家模型提供商
Learning to Rank功能正式成为一般可用特性,提供更精细的搜索结果排序控制
Elasticsearch 8.15:通过语义文本和重排序实现更易用的语义搜索 | Elastic Blog
Elasticsearch 8.15:通过语义文本和重排序实现更易用的语义搜索
By
Nick Chow
Sunayana Vatassery
2024年8月8日
- 在Twitter上分享 在Twitter上分享
- 在LinkedIn上分享 在LinkedIn上分享
- 在Facebook上分享 在Facebook上分享
- 邮件分享 邮件分享
- 打印本页 打印
在8.15版本中,我们的客户可以更轻松地获得出色的搜索结果。最新版本带来了语义重排序功能、更多向量搜索工具以及更多第三方模型提供商,并将我们原生的学习排序(Learning to Rank,简称LTR)功能正式推向一般可用状态。此外,通过额外的速度和效率优化,搜索性能也达到了前所未有的水平。
Elasticsearch 8.15现已在Elastic Cloud上发布——这是唯一一个包含本次最新版本所有新功能的托管Elasticsearch服务。您也可以下载Elastic Stack以及我们的云编排产品Elastic Cloud Enterprise和Elastic Cloud on Kubernetes,以获得自托管体验。Elastic 8.15还有哪些新功能?请查看8.15版本发布文章了解更多信息。
一触即发的语义搜索
Elasticsearch 8.15引入了语义文本和语义重排序——两种将自然语言搜索融入搜索体验的强大方式。
我们通过语义文本进一步降低向量搜索的使用门槛——这是一种新字段类型及对应的语义查询类型,为文本的向量搜索提供了更简洁的实现方式。具体而言,语义文本处理了自动分块功能,使拥有长文本字段的用户可以放心,因为系统会在后台自动完成多嵌入覆盖和处理。向量搜索用户只需设置一个语义文本字段即可开始,模型协调和嵌入生成将由推理API自动处理。对于希望在不使用向量或进一步强化向量/混合搜索的语义搜索用户,8.15版本还引入了语义重排序功能。该功能可通过应用强大的语义相似性模型来优化搜索查询的Top N结果,从而显著提升搜索结果质量,尤其是自然语言搜索。这一改进对任何搜索系统都可能带来显著提升,但对于希望在不引入向量嵌入的情况下增强自然语言搜索能力的用户来说,其价值尤为突出。
更多第三方提供商带来的模型灵活性
Elasticsearch开放的推理API继续通过新增第三方提供商为用户带来更灵活的模型选择。8.15版本新增支持:
- Google AI Studio(嵌入和完成)和Vertex AI(嵌入和重排序)
- Mistral(嵌入)
- Amazon Bedrock(嵌入和完成)
- Anthropic(完成)
所有这些模型提供商均可通过提供简单的API密钥轻松配置为推理端点,并可通过检索器与搜索查询进行简单易行的组合使用。
- Learning to Rank 是 Elasticsearch 的原生功能,扩展了搜索用户的相关性调优流程,使他们能够使用基于自身关键特征训练的 LTR 模型对结果进行重新排序。该功能直接在 Elasticsearch 中运行,能够实现更精细、更具备上下文感知能力的搜索结果,适应复杂的搜索和用户行为模式。从 8.15 版本开始,您还可以对折叠结果进行重新评分,这意味着您可以使用 LTR 对字段折叠结果进行重新排序。
- 查询规则使用户即使在使用机器学习模型进行混合搜索时,也能将业务规则应用于搜索集。当满足定义条件时,用户可以指定希望固定在搜索结果顶部的文档,从而实现根据查询、用户群体等维度定制搜索结果。该功能兼容混合搜索与 RRF 的任意组合。
- Playground 现在支持 Google Gemini!
Playground 是查看使用 semantic_text 和语义重排序效果的便捷方式!
通过 8.15 版本选择您偏好的 LLM,加速构建 RAG 应用。
为客户提供更多向量搜索选项、速度与效率
标量量化改进持续在卓越精度与更优效率之间取得平衡,包括 int-4 量化等特性。新增的稀疏向量查询类型、汉明距离和位编码向量支持也带来了更多向量搜索选项。了解这些以及其它向量数据库性能改进的详细信息,请阅读 Elasticsearch 平台亮点博客。
立即体验
在发布说明中了解这些功能及更多内容。
现有 Elastic Cloud 用户可以直接通过 Elastic Cloud 控制台访问许多新特性。尚未使用 Elastic Cloud?立即开启免费试用。
本文所述任何功能或特性的发布时机和时间安排均由 Elastic 单独决定。目前尚未提供的功能可能无法按时或根本不会上线。
在本文中,我们可能使用或引用了第三方生成式 AI 工具,这些工具由其各自所有者拥有和运营。Elastic 对第三方工具没有任何控制权,也不对这些工具的内容、操作或使用方式,以及由此产生的任何损失或损害承担责任。在使用 AI 工具处理个人、敏感或机密信息时请格外谨慎。您提交的任何数据可能会用于 AI 训练或其他用途。我们无法保证您提供的信息会被安全存储或保密。在使用任何生成式 AI 工具前,请务必熟悉其隐私政策和使用条款。
Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 及相关标识是 Elasticsearch N.V. 在美国和其他国家/地区的商标、标志或注册商标。所有其他公司和产品名称均为其各自所有者的商标、标志或注册商标。