> 引用全真的时候，靠数值一致性区分论文——六个五分钟能做完的检查

结论先行¶

一批九篇论文，所有 arXiv 引用全部真实存在，ref-check 的区分度为零。 真正把论文分出高下的是内部数值一致性。六个检查，每个几分钟：

1. 两列数值完全相同 → 指标塌缩或串列。
2. 同一基线在不同章节有两个值 → 必查，通常没人说明窗口不同。
3. 从均值和 per-seed delta 反解每个 seed → 抓表格错标。
4. 摘要的数 vs 正文最大样本的数 → 看是不是挑了最好看的。
5. 恒定不变的成功率 → 指标可能根本不工作。
6. 可疑的 p 值先自己算一遍再质疑 → 很多"离谱"的 p 值是对的。

为什么¶

每一条都对应一次实际命中：

两列相同。 一篇论文的 "contagion" 列和 "post-trigger harm" 列在全部七个 共享内存且无遏制的 cell 上完全相等（16.0/16.0、16.9/16.9、0.4/0.4 …）。 摘要因此把同一个 16.0 当成两个独立发现来写，第一主张失去了独立证据。

同一基线两个值。 另一篇的 persistence 基线在主表是 0.648，正文是 0.411，差 58%， 没有任何说明。

反解 per-seed。 一张汇总表的 caption 说是 seed-0 的 warm checkpoint， 填的却是另一组实验的数——而论文自己的脚注明确禁止这样混用。 用主表的均值（warm 0.0357 / cold 0.0297）加正文的 per-seed delta（+0.014、−0.002） 反解出 seed0 warm = 0.0411、seed0 cold = 0.0271、seed1 warm = 0.0303、seed1 cold = 0.0323， 四个数互相自洽，证明表里那个 0.055 是错的。

摘要挑数。 一篇把 5.0% 的预测误差写进摘要、引言和结论， 那是 2 个 held-out 配置上的均值；而 187 个配置的分布外检查给出 8.7%， 只在正文里出现过一次，还是括号里。

恒定成功率。 某个指标对真参数、推断参数、名义常数、随机打乱全部返回 0.03125 （正好 1/32）。一个不随输入变化的判别指标不是在测量东西。

先算再质疑。 有一篇报 Mann-Whitney \(p = 1.1 \times 10^{-99}\)， 乍看是排版错误。实际在 \(n_1 = n_2 = 300\) 完全分离下 \(z = 45000/\sqrt{300\cdot300\cdot601/12} \approx 21.2\)，尾概率就是 \(10^{-99}\) 量级，论文没错。 同一批里 Fisher 精确检验 4/6 对 0/6 的单侧 \(p\) 是 \(\binom{8}{2}/\binom{12}{6} = 0.0303\)，也没错。 质疑统计量之前先花两分钟算一遍，否则会写出一条错的 review 意见。

第二批补充¶

七篇的 99 个 arXiv ID 同样全部 resolve，又多了六个检查，全部有实际命中：

1. 回到被抄的源表看整张表。 一篇的 baseline 与另一篇的表逐格一致，但源表里比它强的行 （包括不加任何机制的裸 backbone，40.79 > 39.87）全被略掉了。见 从别人论文里抄 baseline 时，整张源表都要搬过来——以及怎么用类别权重反推两组数是不是同一个题集。
2. 用类别计数反推加权平均，判断是不是同一个题集。 baseline 平均分只能用全集权重（1,540 题）复现， 方法自己的只能用它的 1,388 题切分复现，表里却共用一行 N。
3. 百分比是不是 n 的整数分之几。 cloud-use 在四张表里是 k/n，另两张表不是（28.6% × 30 = 8.58）； 某行两个值都恰好吻合分母 52、另一行都吻合 39——分母被悄悄换过。
4. 图里的 n 加起来 vs 语料总数。 图 8 加起来 95 个 rollout，正文和数据都是 93； clone 作者的匿名仓库后发现绘图脚本里把计数写死了。
5. 不同方法输出到三位小数完全相同 → 开关没接进训练循环。 见 断言正则项是活的——Fisher 代码从未被调用、penalty 静默为零，而所有表照样出了数。
6. 用论文自己的"近似重复对"估噪声。 两个结构相同、只差一次云调用的臂解出 41 和 44 题； 论文的主结论（38 vs 44，Fisher \(p=0.19\)）和这个噪声同量级。

这一批同样验证了几个"看起来可疑但其实对"的数：McNemar 32 vs 20 → \(p = 0.126\)； Fisher 7/7 vs 0/3 = \(1/\binom{10}{3} = 0.0083\)；reservoir 期望驱逐数 \(24\sum_{n=25}^{N}1/n\) 与实测吻合。

怎么用¶

审稿时按上面十二条走一遍；写自己的论文时反过来用：

• 交稿前把每张表的每一列和它的来源脚本对一遍，尤其是两个语义不同的指标恰好相等的时候。
• 每个基线在全文只允许有一个值，除非明写窗口不同。
• 摘要里的每个数标注 \(n\)。
• 汇总表的 caption 说这些数来自哪个配置，就真的只放那个配置的数。

出处¶

两批会议审稿任务的横向总结。这里只保留检查方法本身—— 不涉及任何一篇投稿的身份、内容、缺陷或评分； 用到的数值例子都是为了说明算法而构造的。 相关笔记：引用幻觉藏在作者列表和 venue 里，不在标题里——只比标题的批量校验会漏、把审稿时扣别人分的地方，变成自己交稿前的检查清单。