混合检索与重排序 — BM25 与向量的多阶段拼接Hybrid Search & Reranking: BM25 + Vector, Multi-stage Retrieval, RRF, Cross-encoder, Snippets

问题场景 + 需求约束

为一个 5000 万 SKU 的电商目录设计搜索：既要 iPhone 15 Pro 256GB 这种精确型号/SKU 命中，也要「适合露营的轻便保暖外套」这种自然语言意图命中。纯关键词搜索对第二类查询召回为零（用户没打「外套」就搜不到）；纯向量搜索对第一类又会把「iPhone 14」「iPhone 15 标准版」混进来，丢掉精确性。

关键数字：peak 5k QPS、p99 < 150ms、每查返回 top-24、目录 50M 文档、向量 768 维。约束：召回不能漏（漏 = 用户买不到 = 直接损失 GMV），但精排预算有限（cross-encoder 很贵）。这逼出整套多阶段设计——便宜的召回拉宽，昂贵的精排收窄。

高层架构

graph LR
    Q["Query
纠错/分词/改写"]
    BM["BM25 召回
倒排索引 · 精确词"]
    VEC["向量召回
HNSW ANN · 语义"]
    FUSE["融合
RRF / 加权"]
    RANK["精排 Rerank
cross-encoder / GBDT"]
    BIZ["业务重排
价格/库存/广告/个性化"]
    SNIP["Snippet 高亮
query-biased"]
    R["Top-24"]

    Q --> BM --> FUSE
    Q --> VEC --> FUSE
    FUSE -->|top-200| RANK -->|top-50| BIZ --> SNIP --> R

    classDef q fill:#1a2530,stroke:#64c8ff,color:#e8eef5
    classDef rec fill:#0e2030,stroke:#5eead4,color:#e8eef5
    classDef rank fill:#1a1a30,stroke:#ffb450,color:#e8eef5
    classDef out fill:#2a1530,stroke:#ff7ab6,color:#e8eef5
    class Q q
    class BM,VEC,FUSE rec
    class RANK,BIZ rank
    class SNIP,R out

漏斗：召回拉到几百（高 recall、低成本）→ 精排收到几十（高 precision、高成本）→ 业务重排定最终序

核心思想：把「找全」和「排准」拆成不同阶段。召回层用两条便宜的通道（关键词 + 语义）并行拉候选，融合去重；精排层只对几百个候选跑昂贵模型；最后叠加价格、库存、广告等业务信号。每一阶段的延迟预算和候选数严格递减。

关键技术点

1. 混合检索：BM25 vs 稠密向量，为什么必须都要

核心 trade-off：词法精确 vs 语义泛化，两者的盲区正好互补。

原理：BM25（Okapi BM25，Robertson/Spärck Jones）是 TF-IDF 的概率改良版，按词频 + 逆文档频率打分，并对文档长度归一化、对高频词做饱和（一个词出现 10 次不等于 5 次的两倍价值）。它走倒排索引，对精确词、罕见词（SKU、型号、人名）、否定与布尔逻辑极强。稠密向量把 query 和文档各编码成一个 768 维向量（bi-encoder，如 BERT 类双塔），算余弦相似度，捕捉语义——「laptop」匹配「notebook computer」，「便宜」匹配「平价」。但它对精确 token 不敏感，且会「自信地编造相关性」。

# 混合召回：两条通道并行，再融合
def retrieve(q):
    sparse = bm25_index.search(q.text, k=100)        # 倒排，精确词
    dense  = ann_index.search(embed(q.text), k=100)  # HNSW，语义
    return fuse(sparse, dense)        # 见技术点 3

2. 多阶段检索：召回 / 粗排 / 精排的漏斗

核心 trade-off：每阶段在「候选数」与「单条评估成本」之间做反向权衡。

原理：不可能对 5000 万文档都跑昂贵模型。多阶段把检索建成漏斗：召回（recall）从全库拉几百个，目标是「别漏」，用最便宜的 BM25/ANN；精排（precision）只对这几百个跑重模型，目标是「排准」。关键在于每阶段成本 × 候选数 ≈ 常数——召回单条近乎免费但数量大，精排单条很贵但数量少，乘起来才落在延迟预算内。ANN（如 HNSW 分层可导航小世界图）就是召回阶段「用近似换速度」的代表：放弃精确 KNN，换 sub-ms 的对数级查找。

# 漏斗：候选数递减、单条成本递增
cand = hybrid_retrieve(q, k=200)        # ~亚毫秒/条，要全
cand = rerank_cross_encoder(q, cand)[:50]  # ~ms/条，要准
final = business_rerank(cand)[:24]      # 价格/库存/广告/个性化

3. 融合与重排序：RRF vs 加权，bi-encoder vs cross-encoder

核心 trade-off：融合解决「两套分数不可比」，重排序解决「双塔精度不够」，但 cross-encoder 慢两个数量级。

原理：BM25 分数（无上界）和余弦相似度（0~1）量纲不同，直接加权平均会被某一路主导。RRF（Reciprocal Rank Fusion，Cormack 2009）只看排名不看分数：文档得分 = Σ 1/(k + rank)，k 常取 60，天然解决量纲不可比问题，且无需归一化。融合后进精排：bi-encoder（召回用的双塔）query 和文档独立编码、可离线建索引；cross-encoder 把 query+文档拼接一起喂模型，让两者 token 充分交互，精度高得多，但必须在线现算、无法预存——这正是它只能放在精排（候选已缩到几十个）的原因。

# RRF：只用排名，免归一化
def rrf(lists, k=60):
    score = defaultdict(float)
    for ranked in lists:                 # 每条通道的有序结果
        for rank, doc in enumerate(ranked):
            score[doc] += 1.0 / (k + rank)
    return sorted(score, key=score.get, reverse=True)

# 精排：cross-encoder 现算（只跑融合后的 top-N）
scores = cross_encoder.predict([(q, d.text) for d in candidates])

4. Snippet 生成与高亮：让结果「看起来相关」

核心 trade-off：展示的是解释而非检索——选错片段，再准的排序用户也不点。

原理：Snippet 是query-biased summarization：不是取文档前两句，而是选「最能体现与本次 query 相关」的窗口。经典做法滑动一个固定长度窗口，按窗口内 query 词命中数、词稀有度（IDF 高的词权重大）、词间距打分，取最高窗口并对命中词做 <em> 高亮。难点：高亮必须落在渲染后的原文 offset 上（分词、stemming、Unicode 归一化后位置会偏），错位会高亮错字符。

# query-biased 片段：选命中最密集、稀有词最多的窗口
def best_snippet(doc_tokens, q_terms, W=160):
    qset, best, lo = set(q_terms), (-1, 0), 0
    for i in range(0, len(doc_tokens)-W, 20):
        win = doc_tokens[i:i+W]
        # 命中数 + IDF 加权 + 覆盖不同 query 词的多样性
        s = sum(idf(t) for t in win if t in qset) \
            + 2*len({t for t in win if t in qset})
        if s > best[0]: best, lo = (s, i), i
    return highlight(doc_tokens[lo:lo+W], qset)  # 命中词包 <em>

扩展与优化

• 学习式融合 / 学习排序（LTR）：用点击日志训练 GBDT（LambdaMART）或神经排序模型替代手调 α，把 BM25 分、向量分、CTR、价格等做特征统一打分。
• 稀疏神经检索（SPLADE）：让模型在倒排索引上做「词项扩展」，兼得 BM25 的可解释与神经的语义，省掉一套 ANN。
• 索引新鲜度：向量需重算 embedding 才能更新，文档改了要 re-embed + 重建 HNSW；用近实时（NRT）增量段 + 后台 merge，热门新品单独走快通道。
• 个性化与多目标：精排后叠加用户画像、库存、利润、广告 bid，常做成多目标加权或多塔模型，注意别让商业目标压垮相关性。
• 多区域 / 成本：cross-encoder GPU 贵，按 query 价值分级——头部高价值查询上重 reranker，长尾查询只用融合结果。

常见陷阱 + 面试问题

高频面试追问：

1. 为什么不能只用向量搜索？给一个纯向量必漏、纯 BM25 必中的 query 例子，反之亦然。
2. RRF 的 k 取 60 意味着什么？调大调小分别偏向头部还是尾部？
3. bi-encoder 和 cross-encoder 的本质区别？为什么前者能建索引、后者不能？
4. 5000 万文档、768 维向量，HNSW 索引大概占多少内存？怎么估？
5. 召回阶段 recall@200 只有 85%，精排再好也救不回那 15%——怎么提召回？

深入资源

• Elasticsearch — Reciprocal Rank Fusion / Hybrid search：RRF 公式与混合检索官方实现（RRF 文档 · hybrid search）。
• Vespa Blog & Docs — Phased Ranking / Hybrid Search：多阶段排序与 BM25+向量融合的工程实践（Vespa hybrid search）。
• Cohere — Rerank：cross-encoder 重排序的产品化与用法（docs.cohere.com/docs/rerank）。
• DoorDash Engineering：用 LLM 改进搜索检索的混合系统设计（careersatdoordash.com）。
• 《DDIA》Ch 3（Kleppmann）：倒排索引与存储引擎的本质讨论，理解 BM25 召回的底层。

深入思考（点击展开答案）