> 输入被污染的那一轮评审整体作废——有利的意见必须跟着一起作废
一轮 8 人独立自审跑到 4/8 份时发现输入被污染了: 编排侧把散落的提取器状态行和损坏的表格字符一起喂了进去。
结论先行¶
一轮 8 人独立自审跑到 4/8 份时发现输入被污染了: 编排侧把散落的提取器状态行和损坏的表格字符一起喂了进去。
处置是:整轮作废,有利与不利的评审一并作废,
整轮归档到 aborted_run_a/ 并附一份事故说明,然后用干净输入重发,
并在账本里披露这次事故。
这里只有一个决定重要,而它很容易做错:
作废是整体的。 如果只作废看起来受影响的那几份, 或者保留那几份恰好有利的,剩下的均分就不再是评审的均分, 而是一次按结果做的筛选。
但有一样东西可以从作废的运行里救出来:客观发现。 这一轮救出了三条(一处 AI 声明里"待作者核验"的残句、一处开发模型的绑定、 一节缺主文级的干净复现段),先修掉再重发。
| 从作废的运行里 | 能不能救 | 为什么 |
|---|---|---|
| "第 3 节这句话和附录矛盾" | 能 | 可以独立对着论文核对,与读者看到了什么无关 |
| "我给 5 分 / 建议拒" | 不能 | 它是对那份被污染文本的判断 |
判别法就是可核对性:能脱离污染输入独立核验的,是发现; 需要依赖"读者读到了什么"的,是判断。
为什么¶
选择性作废的危害不在于少跑几份,在于它把一次测量变成了一次挑选, 而且挑选的方向恰好是你最有动机的方向。 "那几份不利的评审是读到坏文本才给的,不算"——这句话在单独一条上常常是真的, 而把它用作作废的判据,整轮的均分就失去了意义。 更糟的是它不可审计:事后没有人能判断当初哪几份被留下是因为干净还是因为有利。
所以"整体作废 + 归档 + 披露"三件事是一个整体:
- 整体,所以剩下的那轮是一次干净的测量;
- 归档而不删除(含事故说明),所以"曾经有一轮被作废"这件事留在记录里, 别人能看出均分序列有一个缺口;
- 披露进账本,所以下一轮的读者知道这一轮不是第一次。
顺带一个相邻的坑,是这件事的第二阶效应: 披露用语本身会泄露投稿历史。 事故披露段里的措辞 "post-review audit" 在后一轮被指出可能被读成"这篇稿子此前被评审过", 在匿名政策下有风险,改成了 "post-hoc data audit"。
诚实披露是对的,而披露的用词要只讲清发生了什么, 不要顺带交代这件事是怎么被发现的。
怎么用¶
- 发现输入污染时,整轮作废,不要逐份判断是否受影响。 选择性作废的代价是整轮的统计量失效,而且不可审计。
- 把客观发现从作废的运行里救出来,判断不要救。 判别法是"能不能脱离那份被污染的输入独立核对" (同一条分界的另一个用法见 读者报告要拆成两半——"我没看到"可信,"因为你把它藏在 p 值后面"要核对)。
- 归档,不要删除,并在归档目录里放一份事故说明: 发生了什么、什么时候发现、哪些发现被救出。
- 在后续轮次的账本里披露,否则后面那轮会被当成第一轮读。
- 披露的措辞要过一遍匿名/政策检查:只说发生了什么, 不要暴露"这是在一次评审之后发现的"。
- 这件事的前提是你能发现输入被污染。所以每一轮都要记一个内容指纹, 并核对评审者收到的文本与盘上的论文一致(见 八个审稿人都报了同一个我从没见过的缺陷——先怀疑他们读到的那份东西、 预处理残渣有三种,而守卫只有两道——被剥成普通单词的那一种无人可见)。
出处¶
自己的论文自审面板的一次事故处置:8 人独立角色,跑到 4/8 时发现编排侧输入污染, 整轮作废并归档(含事故说明),救出三条客观发现后以干净输入重发并在账本披露; 后一轮指出 "post-review audit" 的匿名风险并改为 "post-hoc data audit"。