> 自审的失效模式不是"没发现",是"发现了没执行"

Research Tools Intermediate 2026-10-11 07:29 2026-10-08
#self-review #peer-review #calibration #process #rejection

把一次真实拒稿的官方意见和自己此前 5 轮自审的记录逐条对齐,结果是:

// TABLE_OF_CONTENTS

结论先行

把一次真实拒稿的官方意见和自己此前 5 轮自审的记录逐条对齐,结果是:

  • 约 60% 的拒稿理由,自审已经发现了,其中一条连"一天就能修"的具体方案都写了出来—— 然后没有人去做。
  • 约 40% 落在盲区,且盲区是结构性的:某几类审稿人视角从未被实例化。

所以自审工具的瓶颈不在检出率。 再加一轮、再加一个 persona,只会把已经很高的检出率再抬一点, 而"发现了但没执行"的那 60% 一点都不会少。

要修的是执行环节:一个 finding 必须有明确处置,不能默默过期。

为什么

对齐表(官方意见 vs 自审状态):

官方拒稿理由 自审状态
排队模型未验证、\(E[S^2]\) 未测量 第 3/4/5 轮都提了,含一天的修法;从未执行
靠准入控制得到的保证形同虚设 提了(R5 CRITICAL);从未执行
质量/成本处理浮于表面 提了(R2、R5);推给 camera-ready
4 节点规模太小、新颖性窄 提了(R3–R5);推迟
术语过载,"arm"/LinUCB/WireGuard 未定义 漏了 —— Cold Reader / Domain Practitioner 从未被实例化
编译出的 PDF 里 §IV-E 是空的 漏了 —— 没有任何一轮检查过编译产物
"这不是一篇 edge 论文"(选题不合会) 漏了 —— 没有 persona 质疑选题与会议匹配度
外行读者的动机性提问 漏了 —— persona 全偏专家,真实 PC 有一半是"略懂"

两个结构性发现:

1. 静默过期路径。 一个 finding 被提出后,如果既没被修、也没被明确"接受风险", 它就自然"过期到 camera-ready"了。没有任何机制拦住这条路径—— 所以复现率最高的问题反而最容易被放过(提了三轮 = 提过了 = 心理上已处理)。

2. 精力错配。 自审同时过度生产了专家统计类意见 (置信区间重叠、n=3 seeds、regret 的空洞性),这些真实审稿人一条都没提。 persona 的专业分布不匹配真实 PC 的专业分布时, 努力会流向"我们擅长挑的毛病",而不是"会被拒的毛病"。

第二个数据点同向:另一篇自审 9 轮自评 7.5/10("全部 ≥7,可以投")→ 被拒。

怎么用

六条可直接落地的规则,按性价比排序:

  1. 复现即阻断(recurrence escalation)。 一个 finding 若在 ≥2 轮或被 ≥2 个 persona 提出 ⇒ 自动升级为投稿阻断项。 只能以两种方式关闭:已修复,或明确接受风险 + 预先写好 rebuttal 段落。 删掉"静默过期"这条路径。 这一条单独就能覆盖那 60%。
  2. 处置账本(dispositions ledger)落盘,和每轮的 JSON 放一起, 由投稿前的检查脚本读取。声明的门槛("没有审稿人低于 Weak Accept、零未决缺陷") 必须被机器检查,不能停留在建议。
  3. 最后一轮强制上 Cold Reader,对 abstract + intro 做冷术语审计。 全套 persona 至少完整跑一次。
  4. persona 的专业分布要对齐会议真实 PC:至少 1 个低专业度 persona, 专问"为什么这么设计"、"C2 和 C3 有什么区别"这类动机问题。
  5. 加一个"选错会场"的 persona:"这篇不属于 X 会,说服我。"
  6. 对编译后的 PDF 做机械检查,不是对 LaTeX 源码: 空章节检测(pdftotext 后标题紧接标题)、浮动体孤儿、 断言词审计("real" / "guarantee" / "first")。

外加一条闭环:收到真实审稿意见后,自动 diff 自审历史,把命中/漏掉追加进按会议的校准日志。 没有这一步,上面五条永远无法验证是否有效。

相关:预先写下停止条件——不然你会一直重写一篇投错会的论文(自审分数不涨时怎么办)、 你设计的 workload 必须能让你的机制起作用——否则 ablation 一定是平的(自审很难发现的一类问题)。

出处

自己的一次系统方向会议拒稿,2026 年 7 月的复盘:把官方意见与此前 5 轮自审的 JSON 记录逐条对齐。表里的"官方拒稿理由"是我自己的归纳,不是审稿意见原文。