InfoQ

Airbnb Introduces CASTLE for Training Natural Language Search Models with Synthetic Data

8.5内容质量
Airbnb Introduces CASTLE for Training Natural Language Search Models with Synthetic Data

TL;DR · AI 摘要

Airbnb 推出 CASTLE 框架,利用合成数据训练自然语言搜索模型,解决冷启动问题。

核心要点

  • CASTLE 框架通过去标识化预订会话和大语言模型生成合成查询和相关性标签。
  • CASTLE 使用对比列表对生成查询,正例为预订的房源,负例为未预订的房源。
  • CASTLE-R 是 CASTLE 的生产环境变体,适用于已有真实搜索流量的场景。

结构提纲

按章节快速跳转。

  1. Airbnb 推出 CASTLE 框架,解决自然语言搜索模型的冷启动问题。

  2. CASTLE 使用去标识化预订会话和大语言模型生成合成查询和相关性标签。

  3. CASTLE 结合模板提示、少量提示和属性提示生成多样化的查询。

  4. CASTLE 使用对比列表对生成查询,正例为预订的房源,负例为未预订的房源。

  5. ›Virtual Judge 的作用

    Virtual Judge 用于为缺乏预订历史的房源生成相关性标签。

  6. ·CASTLE-R 的应用

    CASTLE-R 是 CASTLE 的生产环境变体,适用于已有真实搜索流量的场景。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • CASTLE 框架
    • 解决冷启动问题
      • 使用合成数据
      • 生成查询和相关性标签
    • 生成查询方法
      • 模板提示
      • 少量提示
      • 属性提示
    • CASTLE-R
      • 适用于生产环境
      • 已有真实搜索流量

金句 / Highlights

值得收藏与分享的关键句。

#自然语言搜索#合成数据#Airbnb#机器学习
打开原文

Airbnb 推出 CASTLE,用于使用合成数据训练自然语言搜索模型 - InfoQ

InfoQ 首页 News Airbnb 推出 CASTLE,用于使用合成数据训练自然语言搜索模型

AI、ML 与数据工程

InfoQ 认证的高绩效团队计划(在线,11 月 17 日):为您的团队建立更清晰的运营模型。

Airbnb 推出 CASTLE,用于使用合成数据训练自然语言搜索模型

2026 年 11 月 16 日 2 分钟阅读

by

  • Robert Krzaczyński

#### 关注我们

YouTube

232K 粉丝

LinkedIn

26K 粉丝

Instagram

新

RSS

19K 读者

X

57.1k 粉丝

Facebook

21K 喜欢

Bluesky

收听这篇文章 -

0:00

音频准备就绪

您的浏览器不支持音频元素。

正常

1.25x

1.5x

喜欢

新下拉阅读列表

  • 阅读列表

Airbnb 的研究人员推出了 CASTLE,这是一个旨在解决自然语言搜索中冷启动问题的框架。该方法使用去标识化的预订会话和大型语言模型(LLMs)联合生成合成搜索查询和相关性标签,从而在有足够的实际搜索流量之前实现模型训练。

自然语言搜索允许客人使用日常语言描述他们的偏好,例如“靠近滑雪的浪漫小屋”或“可养宠物且可容纳八人的海滨别墅”,而不是完全依赖预定义的筛选器。训练此类系统面临两个挑战:生成反映实际用户行为的查询以及确定哪些房源列表与每个查询相关。

之前的方法,包括 InPars 和 Promptagator,将查询生成和相关性标注视为独立的任务。它们使用 LLMs 从文档或示例中生成查询,然后通过额外的模型判断来分配相关性标签。根据研究人员的说法,这种分离可能会引入额外的错误来源,并导致合成查询和真实用户查询分布之间的差异。

CASTLE 使用从去标识化的预订会话中得出的对比房源对。当客人在查看多个替代选项后预订了一处房产时,所选房源成为正面示例,而另一个查看但未预订的房产则作为负面示例。然后提示一个 LLM 生成一个匹配正面房源但不匹配负面房源的查询。这使得相关性标签可以通过构建过程而不是通过单独的评估步骤来建立。

该框架结合了三种查询生成策略:基于模板的提示、使用大约 500 个通过有针对性的用户研究收集的种子查询的少样本提示,以及专注于区分房源特征的属性相关提示。一种多样性机制还鼓励查询长度和措辞的变化。

对于没有足够预订历史的房源对,包括新上架的房产,CASTLE 使用一个虚拟法官(Virtual Judge),这是一个基于 LLM 的评估器,用于为额外的查询-房源对分配相关性标签。研究人员还开发了 CASTLE-R,这是为实际搜索流量开始积累的生产环境设计的变体。

在评估中,CASTLE 实现了与真实用户查询分布之间的 Kullback–Leibler (KL) 散度为 1.01,而最佳基线 Promptagator 的 KL 散度为 9.33。这表明散度减少了 9.2 倍。在属性类型层面,CASTLE 实现了 0.08 的 KL 散度,而人工整理的调查种子查询的 KL 散度为 0.09。来源:Medium 博客

研究人员还进行了人工评估,其中三位独立的领域专家评审了 200 个采样的三元组。三位评估者与 CASTLE 的相关性分配的一致性在 91% 到 93% 之间。

评估方法也引发了 LinkedIn 上的讨论。Mark Tsai 是一位专注于 LLM 微调和评估的 AI 工程师,他提出了关于训练数据和评估数据之间潜在重叠的问题:

训练数据和评估数据的划分是否保持种子模板和列表 ID 的独立性?对于合成三元组,我会比较随机划分和更严格的划分,然后在未接触的真实查询上进行评估。这将有助于区分学习可重复使用的意图-属性匹配与识别熟悉的模板或属性。

文章作者 Wendy Ran Wei 回应称,团队在未接触的真实查询上对模型进行了评估,并在构建评估集时实施了防止数据泄露的防护措施。她还澄清论文中并未报告随机划分与更严格划分(种子模板和列表 ID 独立)之间的对照比较,并指出这可能是进一步研究的方向。

完整论文可在 arXiv 上获取。

main wrapper for authors section

作者简介

section title

main wrapper for each author

#### Robert Krzaczyński

显示更多

显示更少

#### 本内容属于 AI、机器学习与数据工程主题

##### 相关主题:

  • AI、机器学习与数据工程
  • 大型语言模型
  • 自然语言处理
  • 相关编辑内容
  • 相关赞助商 听听 Satya Nadella 和 Judson Althoff 如何在企业中扩展 AI @ Microsoft Ignite
  • 相关赞助商 Microsoft Ignite 2026;探索 AI 和软件工程的未来 - 学习如何构建智能系统、现代化云基础设施并解决新兴的工程挑战。从微软专家和行业领袖那里获得实用见解。Microsoft Ignite 不到两周就将开始!现在注册参加我们现场活动或免费在线参加,11 月 17 日至 20 日。

InfoQ 电子报

每周内容精选,每周二发送。加入超过 25 万名高级开发者的社区。查看示例

我们保护您的隐私。