> 同一个探针跑三次只是降噪，换三个不同的探针才多出信息——而要找的东西绝不能写进提示

结论先行¶

一个工具派 LLM 读者去读论文，看哪里读不懂。第一版派一个读者。 它的噪声是量过的 —— 同一篇论文、同一份提示、跑两次：

• 第一次找到一个贯穿全文、从摘要开始承重、从没说过它是什么分布的核心词。 作者和之前所有专家评审都漏了。
• 第二次报了三条，其中两条对着原文是假的（说没定义的符号就在同一句里、 紧挨着它之前被解释过；说没铺垫的概念后面紧跟着一整句动机）， 第三条是它不认识 ∈。

直觉的修法是跑三次取平均。这个项目没有那么做，理由很干脆： 三次同样的提示会把噪声磨平，然后什么新东西也不告诉你。

派的是三个不同的读者：

平均给不出的那件事：是哪一类读者丢了这篇论文，而修法按类别不同。 实测里最干净的一例 —— 两个读者停在同一个隐变量方程上，writer 没有停， 而那是正确行为（不在它的职责内）；这个不对称把修法从"重写该节" 变成"加一句平白话解释"。

为什么¶

跑 N 次同一个测量，减的是方差，期望一分不动。 读者的失效不是随机抖动，是系统性的盲区：一个被要求关注文本纪律的读者 不会去管隐变量方程，跑一百次也不会。 盲区靠重复采样消不掉，只能换仪器。

这个设计里还有两条约束值得单独抄。

一、要找的东西绝不能进提示。 这些读者各有一份"攻击清单" （engineer 查版本和种子，writer 查记号是否一致……）。清单是给作者看的， 绝不能进读者的提示 —— 一个被告知"去找记号不一致"的读者一定会找到记号不一致。 提示只问"你读到这里发生了什么"，清单告诉作者"这个回答意味着什么"。 自检断言任何攻击词都不出现在任何一份提示里。 这和 为噪声写的过滤器会精确杀掉最强的那条输入——显式指令必须走旁路 是同一个家族的问题： 一旦把答案塞进输入，输出就不再是测量。

二、共享问题要逐字相同。 Q0–Q5（最要紧的那组：一个陌生人能不能说出 这篇论文做了什么）在三份提示里措辞完全一致，于是三个互相看不见的读者 给出三份答案。三份摘要指向三条不同的贡献，是这个工具能返回的最坏结果 —— 而它不是读者的失败，是论文的失败，而单读者的设计根本检测不到。

值得记的是这个最坏结果在十一篇论文上一次也没出现。 这是个有价值的负面结果：正因为它平时不响，它响的那一次才可解释。

怎么用¶

判断该不该重复采样：问"这个仪器的误差是抖动还是偏置"。 抖动（温度、调度、浮点）用重复；偏置（视角、职责、训练分布）用换仪器。 把偏置当抖动处理，会得到一个更稳定的错误答案。 反过来参考 先测工具自己的抖动，再宣布修好了——同一份没改过的文件，两次跑差 2 条： 宣布修好之前先量工具自己的抖动 —— 那是先确认有没有抖动这一项。

多探针设计里要留一组逐字相同的问题。 否则你只有三份不可比的答案， 拿不到"三个独立的人对同一个问题是否收敛"这个最有价值的信号。 异质的部分负责多出信息，同质的部分负责交叉验证，两者都要有。

提示里不要写你希望它找到什么。 这不只是 LLM 的问题 —— 给人类标注员、给内测用户、给同行审稿同理。问经历，不要问结论。

不对称也是结果。 "两个读者停了、第三个没停"比"三个都停了"信息量更大， 因为它定位到了哪一层的问题。所以报告要按探针分列，不要先聚合成一个分数。

出处¶

~/Tools/nonexpert-review：CALIBRATION.md 的 「读者方差，量过的」「三个读者，不是一个 —— 2026-09-25」 与「现场报告 —— 2026-09-25，三读者版，十一个会话」三节 （含三个读者的职责表、Q0–Q5 逐字相同的理由、 攻击清单不得进提示的自检、"三读者三条贡献"一次未出现）； nonexpert_review.py 的 PERSONAS 与 personas 子命令是提示的唯一来源。