> 一半机械、一半判断的工具,真正的产出是两半的分歧——而它偏偏只报合集

Research Tools Intermediate 2026-10-13 19:58 2026-10-13
#tooling #llm #validation #false-negative #review #design

一个论文自审工具有两半:机械检查(正则、计数、阈值)和模型读者 (几个角色各读一遍、各答十几个问题)。最后一步把两半的发现并起来排序输出。

// TABLE_OF_CONTENTS

结论先行

一个论文自审工具有两半:机械检查(正则、计数、阈值)和模型读者 (几个角色各读一遍、各答十几个问题)。最后一步把两半的发现并起来排序输出。

三条现场回报指向同一件事:两半各自漏掉的东西,正好是另一半抓到的。

真缺陷 机械检查 模型读者
主指标 NDCG 全文 68 次、从未定义 沉默(在豁免名单上) 抓到,停在 IDCG 公式上
envelope 跨两节承重、首次出现在括号里、不是缩写 三条术语规则全漏 抓到
同一个 α 既是 Laplace 平滑常数又是对称信道准确率,同一段里 无此检查 三个读者全漏(而其中一个的问题单上明写着"有没有符号被用于两件事")

第三行最要紧:那个读者被问到了这个问题,然后答错了。 而"同一个字形在两处定义性上下文里被绑定"是个可以确定性判出来的东西, 而且比跑一个读者便宜得多。

工具把两半并起来输出。所以上面这三行在报告里都不存在—— 前两行是机械那半的沉默,被模型那半盖过去了(看起来像"工具抓到了"); 第三行是两半都沉默,彻底不可见。

那条 NDCG 的回报自己给出了正确的结论,而且是从方法论层面说的:

两半互相不一致,才是这件事浮出水面的原因,这说明分歧本身应该被显式报出来。

为什么

两半的盲区不是随机的,是可预测的、而且互补:

擅长 结构性盲区
机械检查 穷举、计数、字形级别的一致性、不疲劳 任何被写进豁免名单的东西;任何"承重但语法上普通"的词
模型读者 语义承重、"我在这里读不懂了"、意译是否够用 需要全文穷举的东西;它会答"没发现"而不说"我没查"

所以: - 两半一致,是最没信息量的情况(并集 = 交集,报哪个都一样)。 - 一半有、一半无,是信息量最大的:要么是豁免名单错了(机械沉默), 要么是读者读过度了(读者单独有)。 - 两半都无,只有第三种独立手段才能发现——上面那个 α 是我在准备材料时手工发现的。

还有一条分工原则:只问判断那半它机械上做不到的事。 "有没有符号被用于两件事"是个穷举题,交给语言模型等于把它最弱的一面当主力, 而且因为它会给出一个自信的"没有",你连"没查"都看不出来 (同类问题:一致不等于证据,见 三个独立读者一致命中也不是指令——"读不懂"和"这是你的立场"要分开)。

怎么用

  • 混合工具的报告里加一节"分歧",三栏:只有机械报的、只有读者报的、两边都报的。 第三栏最短也最不重要。
  • 只有机械沉默而读者报了的那些,逐条去查豁免名单/阈值—— 这是豁免名单唯一的审计入口(见 豁免名单就是工具对读者的真实定义——而它和文档里写的那个读者不是同一个人)。
  • 只有读者报了而机械能查的那些,把它变成一条机械检查。确定性、便宜、不会疲劳。
  • 问判断那半的问题单要过一遍:"这道题是穷举题吗?"是的话从问题单里删掉, 改成一条检查。不然你会得到一个自信的、不可区分于"已查"的"未发现"。
  • 两半都沉默的缺陷只能靠第三种手段。所以手工读一遍不能省, 而且手工发现的每一条都该回填成一条机械检查。

出处

~/Tools/nonexpert-review,feedback/ 里的三条回报(2026-09-24 与 09-25)。 "报告分歧"这条建议是第一份回报自己提的;分工原则和三栏的形状是我这次整理的。 那条符号冲突检查到现在仍未实现,理由是它的下游代价需要先量—— 见 三条可读性修改加了约 155 个字符,页数上限崩了两次——而两道质量门禁拉的方向相反。