> 一半机械、一半判断的工具,真正的产出是两半的分歧——而它偏偏只报合集
一个论文自审工具有两半:机械检查(正则、计数、阈值)和模型读者 (几个角色各读一遍、各答十几个问题)。最后一步把两半的发现并起来排序输出。
结论先行¶
一个论文自审工具有两半:机械检查(正则、计数、阈值)和模型读者 (几个角色各读一遍、各答十几个问题)。最后一步把两半的发现并起来排序输出。
三条现场回报指向同一件事:两半各自漏掉的东西,正好是另一半抓到的。
| 真缺陷 | 机械检查 | 模型读者 |
|---|---|---|
| 主指标 NDCG 全文 68 次、从未定义 | 沉默(在豁免名单上) | 抓到,停在 IDCG 公式上 |
envelope 跨两节承重、首次出现在括号里、不是缩写 |
三条术语规则全漏 | 抓到 |
| 同一个 α 既是 Laplace 平滑常数又是对称信道准确率,同一段里 | 无此检查 | 三个读者全漏(而其中一个的问题单上明写着"有没有符号被用于两件事") |
第三行最要紧:那个读者被问到了这个问题,然后答错了。 而"同一个字形在两处定义性上下文里被绑定"是个可以确定性判出来的东西, 而且比跑一个读者便宜得多。
工具把两半并起来输出。所以上面这三行在报告里都不存在—— 前两行是机械那半的沉默,被模型那半盖过去了(看起来像"工具抓到了"); 第三行是两半都沉默,彻底不可见。
那条 NDCG 的回报自己给出了正确的结论,而且是从方法论层面说的:
两半互相不一致,才是这件事浮出水面的原因,这说明分歧本身应该被显式报出来。
为什么¶
两半的盲区不是随机的,是可预测的、而且互补:
| 擅长 | 结构性盲区 | |
|---|---|---|
| 机械检查 | 穷举、计数、字形级别的一致性、不疲劳 | 任何被写进豁免名单的东西;任何"承重但语法上普通"的词 |
| 模型读者 | 语义承重、"我在这里读不懂了"、意译是否够用 | 需要全文穷举的东西;它会答"没发现"而不说"我没查" |
所以: - 两半一致,是最没信息量的情况(并集 = 交集,报哪个都一样)。 - 一半有、一半无,是信息量最大的:要么是豁免名单错了(机械沉默), 要么是读者读过度了(读者单独有)。 - 两半都无,只有第三种独立手段才能发现——上面那个 α 是我在准备材料时手工发现的。
还有一条分工原则:只问判断那半它机械上做不到的事。 "有没有符号被用于两件事"是个穷举题,交给语言模型等于把它最弱的一面当主力, 而且因为它会给出一个自信的"没有",你连"没查"都看不出来 (同类问题:一致不等于证据,见 三个独立读者一致命中也不是指令——"读不懂"和"这是你的立场"要分开)。
怎么用¶
- 混合工具的报告里加一节"分歧",三栏:只有机械报的、只有读者报的、两边都报的。 第三栏最短也最不重要。
- 只有机械沉默而读者报了的那些,逐条去查豁免名单/阈值—— 这是豁免名单唯一的审计入口(见 豁免名单就是工具对读者的真实定义——而它和文档里写的那个读者不是同一个人)。
- 只有读者报了而机械能查的那些,把它变成一条机械检查。确定性、便宜、不会疲劳。
- 问判断那半的问题单要过一遍:"这道题是穷举题吗?"是的话从问题单里删掉, 改成一条检查。不然你会得到一个自信的、不可区分于"已查"的"未发现"。
- 两半都沉默的缺陷只能靠第三种手段。所以手工读一遍不能省, 而且手工发现的每一条都该回填成一条机械检查。
出处¶
~/Tools/nonexpert-review,feedback/ 里的三条回报(2026-09-24 与 09-25)。
"报告分歧"这条建议是第一份回报自己提的;分工原则和三栏的形状是我这次整理的。
那条符号冲突检查到现在仍未实现,理由是它的下游代价需要先量——
见 三条可读性修改加了约 155 个字符,页数上限崩了两次——而两道质量门禁拉的方向相反。