多向量检索策略选型：分离度决定nDCG@10成败

标题：Milvus 在 X 上发文：“使用相同的多向量模型和数据集，nDCG@10 可能会从 0.701 骤降至 0.109——差距高达约 6 倍。原因何在？因为你更换了近似检索策略。 𝗜𝗻 𝗺𝘂𝗹𝘁𝗶-𝘃𝗲𝗰𝘁𝗼𝗿 𝗿𝗲𝘁𝗿𝗶𝗲𝘃𝗮𝗹, 𝗽𝗶𝗰𝗸𝗶𝗻𝗴 𝘁𝗵𝗲 𝘄𝗿𝗼𝗻𝗴 𝘀𝘁𝗿𝗮𝘁𝗲𝗴𝘆 https://t.co/GnqPBFTHUR” / X

URL 来源：https://x.com/milvusio/status/2062559250015273251

Markdown 内容：

使用相同的多向量模型和数据集，nDCG@10 可能会从 0.701 骤降至 0.109——差距高达约 6 倍。原因何在？因为你更换了近似检索策略。𝗜𝗻 𝗺𝘂𝗹𝘁𝗶-𝘃𝗲𝗰𝘁𝗼𝗿 𝗿𝗲𝘁𝗿𝗶𝗲𝘃𝗮𝗹, 𝗽𝗶𝗰𝗸𝗶𝗻𝗴 𝘁𝗵𝗲 𝘄𝗿𝗼𝗻𝗴 𝘀𝘁𝗿𝗮𝘁𝗲𝗴𝘆 𝗰𝗮𝗻 𝗰𝗼𝘀𝘁 𝘆𝗼𝘂 𝗺𝗼𝗿𝗲 𝘁𝗵𝗮𝗻 𝗽𝗶𝗰𝗸𝗶𝗻𝗴 𝘁𝗵𝗲 𝘄𝗿𝗼𝗻𝗴 𝗺𝗼𝗱𝗲𝗹.（在多向量检索中，选错策略比选错模型的代价还要大。）像 ColBERT 这样的多向量模型会将文档中的每个 token 转换为独立的向量。你不能简单地将数百万个 token 向量加载到 ANN 索引中进行搜索，因为真正起决定作用的是文档级别的 MaxSim 分数——即针对每个查询 token，找到文档中与其最接近的 token，然后求和。𝗦𝗼 𝗲𝘃𝗲𝗿𝘆 𝗮𝗽𝗽𝗿𝗼𝗮𝗰𝗵 𝗿𝘂𝗻𝘀 𝗶𝗻 𝘁𝘄𝗼 𝘀𝘁𝗮𝗴𝗲𝘀: 𝗮𝗻 𝗮𝗽𝗽𝗿𝗼𝘅𝗶𝗺𝗮𝘁𝗲 𝘀𝗲𝗮𝗿𝗰𝗵 𝗽𝗶𝗰𝗸𝘀 𝗰𝗮𝗻𝗱𝗶𝗱𝗮𝘁𝗲 𝗱𝗼𝗰𝘂𝗺𝗲𝗻𝘁𝘀 𝗳𝗶𝗿𝘀𝘁, 𝘁𝗵𝗲𝗻 𝗲𝘅𝗮𝗰𝘁 𝗠𝗮𝘅𝗦𝗶𝗺 𝗿𝗲-𝗿𝗮𝗻𝗸𝘀 𝘁𝗵𝗲𝗺. 𝗧𝗵𝗲 𝘀𝘁𝗿𝗮𝘁𝗲𝗴𝗶𝗲𝘀 𝗼𝗻𝗹𝘆 𝗱𝗶𝗳𝗳𝗲𝗿 𝗶𝗻 𝗵𝗼𝘄 𝘁𝗵𝗲𝘆 𝗱𝗼 𝘁𝗵𝗮𝘁 𝗳𝗶𝗿𝘀𝘁 𝘀𝘁𝗲𝗽.（因此，所有方法都分为两个阶段运行：首先通过近似搜索筛选候选文档，然后通过精确 MaxSim 进行重排序。不同策略的区别仅在于第一步的实现方式。）我们测试了三种策略：𝗧𝗼𝗸𝗲𝗻𝗔𝗡𝗡（直接索引每个 token 向量）、𝗠𝗨𝗩𝗘𝗥𝗔（随机投影压缩）和 𝗟𝗘𝗠𝗨𝗥（训练 MLP 进行压缩）。在 LoTTE 数据集上固定使用 Jina-ColBERT-v2 模型时： TokenANN — nDCG@10 = 0.701 LEMUR — nDCG@10 = 0.109 唯一改变的只是第一阶段的近似策略。作为对比：在同一数据集上，从普通稠密模型升级到该多向量模型，精确分数从 0.611 提升到了 0.722。也就是说，选错策略造成的损失甚至超过了选用更优模型带来的收益。𝗪𝗵𝘆? 𝗔 𝘀𝘁𝗿𝗼𝗻𝗴 𝗽𝗿𝗲𝗱𝗶𝗰𝘁𝗼𝗿 𝗶𝘀 𝗲𝗺𝗯𝗲𝗱𝗱𝗶𝗻𝗴-𝘀𝗽𝗮𝗰𝗲 𝘀𝗲𝗽𝗮𝗿𝗮𝗯𝗶𝗹𝗶𝘁𝘆 — 𝘄𝗵𝗲𝘁𝗵𝗲𝗿 𝗮 𝗺𝗼𝗱𝗲𝗹'𝘀 𝘁𝗼𝗸𝗲𝗻 𝘃𝗲𝗰𝘁𝗼𝗿𝘀 𝘀𝗶𝘁 𝗳𝗮𝗿 𝗮𝗽𝗮𝗿𝘁 𝗼𝗿 𝗽𝗶𝗹𝗲 𝘁𝗼𝗴𝗲𝘁𝗵𝗲𝗿.（为什么？一个强有力的预测指标是嵌入空间的可分离性——即模型的 token 向量是分散分布还是聚集在一起。）𝗙𝗼𝗿 𝘀𝗽𝗿𝗲𝗮𝗱 𝗼𝘂𝘁 (𝗝𝗶𝗻𝗮): each token is a precise probe, so TokenANN and MUVERA land on the right document tokens. LEMUR, though, risks collapsing on long-tailed data.（对于分散型分布（如 Jina）：每个 token 都是精确的探针，因此 TokenANN 和 MUVERA 能准确命中正确的文档 token。而 LEMUR 在长尾数据上则存在坍塌风险。）𝗙𝗼𝗿 𝗰𝗹𝘂𝘀𝘁𝗲𝗿𝗲𝗱 (𝗔𝗻𝘀𝘄𝗲𝗿𝗔𝗜): one query token pulls back a crowd of close-but-irrelevant tokens, so TokenANN and MUVERA produce weak candidates. LEMUR is the one that still works.（对于聚集型分布（如 AnswerAI）：单个查询 token 会召回大量相近但不相关的 token，导致 TokenANN 和 MUVERA 生成的候选集质量较差。此时只有 LEMUR 依然有效。）𝗬𝗼𝘂 𝗰𝗮𝗻 𝗺𝗲𝗮𝘀𝘂𝗿𝗲 𝘀𝗲𝗽𝗮𝗿𝗮𝗯𝗶𝗹𝗶𝘁𝘆 𝗯𝗲𝗳𝗼𝗿𝗲 𝗰𝗼𝗺𝗺𝗶𝘁𝘁𝗶𝗻𝗴.（在正式部署前，你可以先评估可分离性。）抽取几百个 token 向量，将每个向量视为查询，计算它们在各文档上 MaxSim 分数的标准差。Jina 的标准差为 0.157；AnswerAI 为 0.050——当标准差仅为 0.050 时，几乎所有文档的得分都趋于一致，相关与不相关内容的界限变得模糊。召回率也印证了这一点：在四个数据集上，Jina 的 TokenANN 保持了 68.5%–88.5% 的 Math R@100，而 AnswerAI 仅为 44.6%–65.5%。𝗦𝗼 𝗯𝗲𝗳𝗼𝗿𝗲 𝘁𝘂𝗻𝗶𝗻𝗴 𝗮𝗻𝘆𝘁𝗵𝗶𝗻𝗴:（因此，在进行任何调优之前：）→ Wide spread (closer to 0.15): start with TokenANN or MUVERA（→ 分布较广（接近 0.15）：首选 TokenANN 或 MUVERA）→ Tight spread (closer to 0.05): start with LEMUR（→ 分布较窄（接近 0.05）：首选 LEMUR）𝗧𝗵𝗲 𝗺𝗼𝗱𝗲𝗹 𝗶𝘀 𝗼𝗻𝗹𝘆 𝗵𝗮𝗹𝗳 𝘁𝗵𝗲 𝗱𝗲𝗰𝗶𝘀𝗶𝗼𝗻. 𝗣𝗮𝗶𝗿 𝗶𝘁 𝘄𝗶𝘁𝗵 𝘁𝗵𝗲 𝘄𝗿𝗼𝗻𝗴 𝘀𝘁𝗿𝗮𝘁𝗲𝗴𝘆, 𝗮𝗻𝗱 𝘁𝗵𝗲 𝗯𝗲𝘀𝘁 𝗺𝗼𝗱𝗲𝗹 𝗰𝗮𝗻'𝘁 𝗺𝗮𝗸𝗲 𝘂𝗽 𝘁𝗵𝗲 𝗱𝗶𝗳𝗳𝗲𝗿𝗲𝗻𝗰𝗲.（模型选择只是决策的一半。如果搭配了错误的检索策略，即便是最优模型也无法弥补性能的损失。）