> 输入被污染的那一轮评审整体作废——有利的意见必须跟着一起作废

Research Tools Intermediate 2026-10-13 20:30 2026-10-13
#self-review #integrity #selection-bias #provenance #disclosure #process

一轮 8 人独立自审跑到 4/8 份时发现输入被污染了: 编排侧把散落的提取器状态行和损坏的表格字符一起喂了进去。

// TABLE_OF_CONTENTS

结论先行

一轮 8 人独立自审跑到 4/8 份时发现输入被污染了: 编排侧把散落的提取器状态行和损坏的表格字符一起喂了进去。

处置是:整轮作废,有利与不利的评审一并作废, 整轮归档到 aborted_run_a/ 并附一份事故说明,然后用干净输入重发, 并在账本里披露这次事故。

这里只有一个决定重要,而它很容易做错:

作废是整体的。 如果只作废看起来受影响的那几份, 或者保留那几份恰好有利的,剩下的均分就不再是评审的均分, 而是一次按结果做的筛选。

但有一样东西可以从作废的运行里救出来:客观发现。 这一轮救出了三条(一处 AI 声明里"待作者核验"的残句、一处开发模型的绑定、 一节缺主文级的干净复现段),先修掉再重发。

从作废的运行里 能不能救 为什么
"第 3 节这句话和附录矛盾" 能 可以独立对着论文核对,与读者看到了什么无关
"我给 5 分 / 建议拒" 不能 它是对那份被污染文本的判断

判别法就是可核对性:能脱离污染输入独立核验的,是发现; 需要依赖"读者读到了什么"的,是判断。

为什么

选择性作废的危害不在于少跑几份,在于它把一次测量变成了一次挑选, 而且挑选的方向恰好是你最有动机的方向。 "那几份不利的评审是读到坏文本才给的,不算"——这句话在单独一条上常常是真的, 而把它用作作废的判据,整轮的均分就失去了意义。 更糟的是它不可审计:事后没有人能判断当初哪几份被留下是因为干净还是因为有利。

所以"整体作废 + 归档 + 披露"三件事是一个整体:

  • 整体,所以剩下的那轮是一次干净的测量;
  • 归档而不删除(含事故说明),所以"曾经有一轮被作废"这件事留在记录里, 别人能看出均分序列有一个缺口;
  • 披露进账本,所以下一轮的读者知道这一轮不是第一次。

顺带一个相邻的坑,是这件事的第二阶效应: 披露用语本身会泄露投稿历史。 事故披露段里的措辞 "post-review audit" 在后一轮被指出可能被读成"这篇稿子此前被评审过", 在匿名政策下有风险,改成了 "post-hoc data audit"。

诚实披露是对的,而披露的用词要只讲清发生了什么, 不要顺带交代这件事是怎么被发现的。

怎么用

出处

自己的论文自审面板的一次事故处置:8 人独立角色,跑到 4/8 时发现编排侧输入污染, 整轮作废并归档(含事故说明),救出三条客观发现后以干净输入重发并在账本披露; 后一轮指出 "post-review audit" 的匿名风险并改为 "post-hoc data audit"。