乳腺病变RAG：证据标注如何改变检索评分

一句话结论

这篇论文要解决的不是“再做一个临床 RAG”，而是说明：在乳腺病变管理文献的小规模 RAG 中，检索分数会依赖“证据标注覆盖到哪”，并给出一个证据感知评测协议；扩充标注会增加被识别的证据，却不必然改变检索排名。

方法要点

核心思路是把“相关”从文档级改成证据跨度级：先标出文献中能回答问题的证据跨度，再把包含该跨度的所有分块都视为相关；重叠分块只要证据等价，也视为相关。这样做的目的，是避免只标一个分块导致召回被低估。

评测流程可以概括为：

1. 用 18 篇文档、18 条查询做开发集，每篇文档对应一条是/否或 WH 问题。
2. 检索侧组合稠密向量、BM25 和交叉编码器重排，比较四种检索配置。
3. 分块规模从 128 到 1024 词元，重叠从 0 到 20%，用 R-精度、Recall@K、MRR 和 nDCG@K 评检索。
4. 生成侧单独在 512 词元索引上评，K 取 1 到 5，使用 DeepEval 断言级指标、BLEU/ROUGE，并由 deepseek-v4-pro 担任 LLM 裁判。
5. 最终选中的混合检索配置是 384 词元分块、20% 重叠；它在 18 条查询中的 17 条里，把可接受证据检进前 3 条。
6. 作者随后扩充证据标注，证据跨度从 25 增到 37，可接受分块目标从 36 增到 51，但检索排名没有变化。

伪代码如下：

构建文档集 D（18 篇）与查询集 Q（18 条）
for chunk_size in [128, ..., 1024] 词元:
  for overlap in [0, ..., 20%]:
    index = 稠密向量(D) + BM25(D)
    candidates = retrieve(index, q)
    ranked = 交叉编码器重排(candidates)
    用 R-精度、Recall@K、MRR@K、nDCG@K 评分
选择配置 = 384 词元分块 + 20% 重叠
在 512 词元索引上评测生成，K = 1 到 5
对比标注扩充前后的检索排名

关键设计在于“证据等价”的处理：同一个证据跨度可能落在多个重叠分块里，如果只把其中一个分块标为相关，指标会惩罚其他同样包含证据的分块。论文把这类分块都接受，检索评分更贴近“证据是否被找到”，而不是“是否恰好命中人工指定的那个分块”。

关键数字

这张表最值得开发者注意的不是某个单点分数，而是“标注扩充后排名不变”。它说明：当证据标注覆盖不足时，检索分数可能低估系统；当标注覆盖扩大后，被识别的证据变多，但系统排序未必改变。评测结论对标注协议敏感。

局限与前提

第一，开发集只有 18 篇文档、18 条查询，规模很小。作者自己也承认，小开发集和“检索引导式标注”需要独立验证，包括由放射科医生评估证据是否充分。这意味着当前结果更适合验证评测协议，不足以直接证明临床可用性。

第二，标注扩充虽然把证据跨度从 25 增到 37、可接受分块目标从 36 增到 51，但排名没有变化。作者没有展开未命中项的具体失败原因，因此不能从本文判断失败模式是检索、分块还是标注边界造成的。

第三，场景限定在乳腺病变管理文献。换成其他专科、其他文档结构或其他提问方式，分块规模、重叠比例和重排器的表现都可能变化。论文给出的是证据感知评测思路，不是通用临床 RAG 的固定配方。

第四，生成侧使用 DeepEval 断言级指标、BLEU/ROUGE 和 LLM 裁判，仍需要人工临床评估补位。作者明确把“放射科医生评估证据充分性”列为后续验证条件。

能不能用

就给定信息源看，论文页面提供 PDF、HTML 和 TeX 源码入口，但没有列出明确的代码仓库或权重下载地址。因此不能按“下载即跑”的方式复现，需要自己搭建索引、检索和评测脚本。

本地复现的最低条件包括：18 篇文档与 18 条查询的开发集、证据跨度标注、稠密向量检索、BM25、交叉编码器重排、128 到 1024 词元的分块网格、0 到 20% 的重叠配置，以及 512 词元索引上的生成评测环境。生成评测还需要 DeepEval、deepseek-v4-pro 裁判和 BLEU/ROUGE 计算。

如果读者要做的是“小规模临床文献 RAG 的离线评测”，这篇论文的可用点是评测协议：把相关性问题落到证据跨度，接受包含同一证据的重叠分块，并在标注扩充前后对比排名。若目标是上线临床决策支持，当前证据不够，至少要先补上更大规模数据、独立标注和放射科医生评估。

参考来源

• arXiv 摘要页
• arXiv HTML 全文