> 检索工具说"没有相关工作"之前,先让它找一篇你已经知道存在的论文
一次自动检索的空结果,在它证明自己能找到你已经知道存在的前作之前, 不能当作"这个方向没人做过"。
结论先行¶
一次自动检索的空结果,在它证明自己能找到你已经知道存在的前作之前, 不能当作"这个方向没人做过"。
系统综述领域早就有这个做法,叫准金标准(quasi-gold standard): 先固定一组"必须命中"的论文,用对它们的召回率去评价检索式本身, 召回低于 70–80% 就判定检索式不合格,而不是判定"文献少"。
关键在于代价:你点名的那几篇论文本身就是这组准金标准, 核对它们只要一次额外的 API 请求。一次实测的扫描跑了 4 分钟、53 次请求、 返回了几十篇论文,却漏掉全部三篇决定性前作——多花第 54 次请求就不会失败。
失败的方向也是最坏的那个:读到这份报告的人会得出恰好相反的结论, "我的贡献是新的"。
为什么¶
同一个失败在三周里发生了三次,机制是两条互相独立的:
一、查询过滤器吃掉了点名的论文。 详见 为噪声写的过滤器会精确杀掉最强的那条输入——显式指令必须走旁路——引号里的短名字长得就像要被过滤的垃圾。
二、日期窗口是硬过滤器,措辞救不回来。 这条才是致命的:
| 论文 | 发表日 | 默认 18 个月窗口(≈2025-03) |
|---|---|---|
| FrugalGPT | 2023-05-09 | 窗外 |
| RouterBench | 2024-03-18 | 窗外 |
| RouteLLM | 2024-06-26 | 窗外 |
每个数据源都在服务端按 date_from 硬过滤。三篇全在窗外,
所以任何措辞的关键词查询都不可能返回它们。
把过滤器修好、把查询写得再漂亮,结果还是零。
推论:已知条目的核对必须是一条不带日期窗口的独立通道。 它问的不是"这个领域最近有什么",而是"这篇具体的论文存在吗,这次扫描捞到了吗", 后一个问题只有在窗口不生效时才有意义。
不要先上 LLM 查询扩展。 这是查完文献才决定不做的: 今年 JAMIA 那篇对八种生成式查询扩展在五个生物医学检索基准上的批判性评估发现, 扩展主要在重排不在召回——82.77% 的文档对排名未变, 部分数据集上 Recall@10 从 0.491 掉到 0.417,最大失败模式是主题漂移(49.2%)。 它解决不了系统综述需要的深尾检索。要修召回就直接去查已知条目,别绕道生成。
两个实现上的坑,都实测过:
- 命中判定用题名,不能用结果数。
query="Mixture-of-Experts"返回 7845 条, 排第一的是 Hinton 的蒸馏论文。非空只说明这些 token 在某处出现过。 - 题名匹配要按词序,不能用子串包含。
RAG在 "Storage" 里、MoE在 "Chemoenzymatic" 里、ReAct在 "Reactive" 里, 而短缩写恰好是这个通道最常处理的那类名字。
朴素的捕获再捕获(capture–recapture)在这里没有意义。 拿两个索引的 原始返回算重叠,估出来的覆盖率是 13%——因为两条路径采样的根本不是同一个总体 (其中一边的宽松查询匹配了 35034 篇)。捕获再捕获必须作用在筛过的相关集上, 否则它估的是两个 API 的召回口味差异,不是文献的覆盖率。
怎么用¶
三步,可以套到任何检索工具上:
- 点名。 把你已知必须命中的论文写进查询,用一个机器能认出来的形式
(引号、
--must-include、一个种子 ID 列表都行)。 - 独立通道解析。 不走关键词管线,直接按题名查,不带日期/领域过滤。
一次批量 OR 查询就够:Semantic Scholar 的
/paper/search/bulk接受 引号短语和|,服务端按引用排序,1000 篇一批,且不像/paper/search卡在 1 rps;OpenAlex 的filter=title.search:是 10/s 的补充。 - 裁决,而且要把"没找到"拆开。 这一步是全部价值所在:
| 状态 | 含义 | 是不是检索缺陷 |
|---|---|---|
in_results |
正常管线捞到了 | 否 |
already_cited |
你自己的 .bib 里已经有,被去重删了 | 否,这是正确行为 |
out_of_window |
存在,但早于时间窗 | 否,是配置不匹配 |
missed |
存在、在窗内、没捞到 | 是。真失败 |
undetermined |
限流 / 预算耗尽 / 熔断,查不完 | 未知,沉默不代表任何事 |
unresolvable |
查完了,没有这个名字的论文 | 多半是拼写 |
undetermined 和 unresolvable 必须分开。 合成一个"没找到",
一次限流就会被读成"这篇论文不存在"——用一个静默失败去报告另一个。
只有 missed 值得让整轮运行失败(非零退出码 + 报告顶部横幅)。
out_of_window 在任何提到旧论文的正常运行里都会触发,
把它也算失败,这道闸门一周内就会被人手动关掉——见
没人过得去的闸门会被手动放行,而放行一次它就不再是闸门。
出处¶
~/Tools/scholarSpyder/scout/strategies/known_item.py(v3.4,2026-09-07); 三次失败的原始记录在同仓库feedback/20260826_233016_user_quality.md与feedback/20260906_092620_audit_critical_scan.md- 准金标准与召回阈值:Zhang、Babar & Tell 在软件工程系统综述里的检索式评价方法; 报告规范见 PRISMA-S;补充检索见 Wohlin 的滚雪球法
- LLM 查询扩展的评估:JAMIA 2026,八种生成式扩展 × 五个生物医学检索基准
- 同一次修复的另外三面:为噪声写的过滤器会精确杀掉最强的那条输入——显式指令必须走旁路 · 用 any() 写的回归测试是假保证——它只要求最容易过的那个夹具通过 · 恒为常数的特征在归一化融合里等于不存在——不报错,还会连累依赖它的阈值
- 同一类"不报错只少做":最危险的工具故障是"静默少做"——技能在、后端不在