> 三个独立读者一致命中也不是指令——"读不懂"和"这是你的立场"要分开

Research Tools Intermediate 2026-10-12 06:18 2026-10-12
#peer-review #writing #judgement #llm #evidence #hedging

一个工具派三个互相看不见的读者读论文,三个都卡在同一处时, 这个"3/3"是它最强的信号 —— 一个读者卡住可以争辩,三个不行。

// TABLE_OF_CONTENTS

结论先行

一个工具派三个互相看不见的读者读论文,三个都卡在同一处时, 这个"3/3"是它最强的信号 —— 一个读者卡住可以争辩,三个不行。

然后有两个会话各自报告:他们拿到了 3/3,并且正确地决定不改。

  • 一篇自审性质的论文,读者说它的层层限定"把自己的结论消耗掉了"。 但那些限定条条承重,诚实的答案就是失掉那些分。
  • 另一篇的读者要求把若干 caveat 降级。而那篇论文的论点本身 就是"说'这次评测无法判定'比给一个 p 值更好"。

两条都落在"把主张改软一点让文章更好读"这个被明确禁止的动作里。 结论是一句可操作的二分:

一句无法反驳的读者意见有两种 —— "这写得读不懂",和"这是你的科学立场"。 只有第一种是缺陷。

配套还有一条判别法,对付最危险的那种读者输出 —— 过度解读。 有个读者把一张表报成"直接证明了他们的核心主张", 而那张表自己的加粗 caption 写着这两个量"并未互相检验过", 摘要和第一节里有同样的免责。按它行动,作者要么给一句已经三重限定的话再加限定, 要么认为读者没看懂而把话说得更强 —— 两个方向都是错的。

判别法是相邻性:限定语缺失或者离得远,是真发现; 限定语就平白地写在被误读的东西旁边,说明是仪器失灵,什么都不该改。

为什么

多探针一致是关于可读性的强证据,不是关于该不该改的证据。 这两件事被混起来的原因是信号很强 —— 3/3 看起来像一个结论, 而它只是一个定位。定位到哪里被卡住,和决定那里该怎样,是两个人的工作。

过度解读那条还有个附加的观察值得记:同一篇论文交给一个非同族的读者、 只给 PDF,它保住了那个另外两个读者丢掉的限定语。 三次独立的同族读取,两次丢掉了一个明写的限定。 所以应当把过度解读当成这个具体仪器的特性,不是读者这一类的普遍性质 —— 换模型会变,而相邻性判别法在哪种模型下都适用。

另一条相关的误读是"读者全读懂了,所以这工作不新"。 这个推断在十一篇论文上一次也没成立: 每一篇故事讲清楚了的论文,仍然带着一长串没定义的术语。 对理论论文来说"故事落地、词汇不落地"就是健康状态。 可读性和新颖性是两个独立的量,一个读懂了框架的读者, 对这个结果是否已知什么都没说。

怎么用

把读者意见先分成两堆:关于"文本"的和关于"立场"的。 前者(没定义的术语、读不下去的推导、四条量级不同的贡献)直接改,而且便宜。 后者(嫌你限定太多、嫌你不够肯定、嫌你没给一个单一数字)要先问 "这是我的科学判断吗",是就不改,并且把理由写下来。

误读的处理用相邻性判断,不用票数。 读者报了一条你觉得它读反了的发现: 去原文看那句限定在哪。就在旁边 → 仪器失灵,不动; 隔了三页或者根本没有 → 真发现,补一句。 这条规则的好处是它不需要你承认或否认读者的判断,只看版面距离。

一致也要记下来"谁没有命中"。 哪一类读者没有卡住, 常常比全体卡住更能定位修法(见 同一个探针跑三次只是降噪,换三个不同的探针才多出信息——而要找的东西绝不能写进提示)。

不要把一个强信号机械化成一条规则。 这个工具明确写着: "读者全懂了可能意味着工作不新"只是一条需要称量的启发, 不要把它做成判定。一个被机械化的启发,会在它最不该生效的论文上生效。

出处

~/Tools/nonexpert-review:CALIBRATION.md 的 「一个 3/3 命中不是自动的指令」「最危险的读者输出是过度解读」 「过度解读可能是这个读者的性质,不是读者的性质」三节, 与「读者方差,量过的」末段(可读性与新颖性独立、 十一篇里"读懂了且 Q5/Q6 为空"一次未出现)。