> 三篇中稿论文的共同流程——不是技能链,是「用上一版做过的证据回答这一轮」

Research Tools Intermediate 2026-10-11 07:29 2026-10-08
#peer-review #submission-strategy #self-review #calibration #post-mortem

ICML 2026 / ECML-PKDD 2026 / CIKM 2026 三篇 main track 都中了。想知道背后的流程有什么 共性,好把它复用到在审的稿子上。2026-10-04 从三个项目的笔记、盘上的流程工件、 git log 和自己的投稿登记表里挖了一遍。

体裁说明:这篇是一次调查记录,不是单一知识点笔记,所以没有用本仓库 约定的「结论先行 / 为什么 / 怎么用 / 出处」四段。结构检查请按例外处理。

问题

ICML 2026 / ECML-PKDD 2026 / CIKM 2026 三篇 main track 都中了。想知道背后的流程有什么 共性,好把它复用到在审的稿子上。2026-10-04 从三个项目的笔记、盘上的流程工件、 git log 和自己的投稿登记表里挖了一遍。

证据边界(先说清楚)

助手的会话记录够不上。 三个项目的记录最早是 2026-08-19, 三次投稿期(1–5 月)全部不在记录里。所以下面的依据是:项目笔记(最早回到 2026-03)、盘上的 rebuttal / self-review / audit 工件、git log,以及自己的投稿登记表。涉及动机的地方我标了「推断」。

硬时间线

ICML(ROA-LLM) ECML(StreamingRoboSys) CIKM(GraphLLMRec)
同材料的前一次投稿 另一会场,撤稿 会场 U,02-25 投,04-25 拒 会场 K,02-08 投,05-15 拒
录用稿投出 2026-01-31 2026-03-12 ~2026-05-23
决定 04-30 录用 05-27 录用 08-10 录用
投稿前对抗审读 无记录 无记录 三轮,4.5 → 6.25 → 7.00

一、技能链的功劳要撤回

三篇里两篇是在完全没跑投稿前对抗审读的情况下中的。ROA-LLM 的 repo 是投稿当天 (01-31)才 Initial commit 的,之前没有任何 review / audit 类文档。

更直接:~/.claude/skills 的 git 历史起点是 2026-07-14,提交信息写着 "Snapshot"; self-review 的 rules 16–20 来自另一篇论文被拒后的 post-mortem(2026-07-25 提交)。 现在这套闸门是用这三篇中稿之后发生的拒稿喂出来的,它在下游不在上游。

但 2 月确实存在一个东西:GraphLLMRec/REVIEWER_ANALYSIS.md(2026-02-03,开头写 「模拟审稿人视角,识别论文弱点,规划补充实验」),手写 markdown 表格,每条贡献标 「证据强度」和「审稿人可能评价」,写在那次投稿前五天。习惯比工具早五个月。

二、真正的共性:用上一版做过的证据回答这一轮

  • ICML:两个审稿人独立提出同一个弱点(某个防御假设了 oracle)。rebuttal 交的是 context-isolated self-verification——这个防御早就在之前撤稿那版的改进清单里, 而笔记记的合并日期正是两份 rebuttal 提交的同一天。新跑的只有一批小样本, 设计是现成的。
  • CIKM:中稿那份草稿是 04-17 对着前一次投稿 rebuttal 阶段收到的意见改的—— 改的是一份还没出决定的投稿的意见。04-17 那天草稿就 compile-clean,比投出早五周。
  • ECML:results/reviewer_response/ 那六组实验是 2026-01-22,早于 UAI(02-25) 也早于 ECML(03-12)。

三次都不是「被拒 → 重做」,是审稿意见一到手就当下一篇的输入,不等决定。

三、其余共性

退路是「稿子就绪」不是「候选名单」。 当时记下的判断是:不要提前撤稿,单个审稿人的保留意见 不等于最终决定,meta-review 的权重更大——然后 05-16 通知 → 05-23 投,七天缓冲。 ICML 那篇本身就是前一次撤稿的退路。

投稿前砍掉自己最想要的那个数字。 CIKM self-review 第一轮拒绝用 rebuttal_bootstrap_test.json 做 Table 1 的 CI,因为该文件自己的 metadata 写着 "per-user arrays simulated from aggregate statistics"——四个 persona 里两个判 CRITICAL。 ICML 第四轮审计撤回 κ=0.88 和 paraphrase 计数(无工件),删掉 H3 的 synergy 主张 (八格里四格钉在 0%,这个设计答不了交互)。

降级措辞是同一套:every strategy fails → no statistically significant improvement、 causal → correlational、confirms model-intrinsic → suggests … in our controlled setting。

数字从原始工件重新生成,不从上一版稿子转抄。 ICML AUDIT_LEDGER.md 四轮抓到: Fig 4 在画陈旧 JSON、Fig 2 在画已撤回的审计前成功率、ledger 总数 13,880 实为 14,293、 六行 Wald 改 Wilson。每次修法都是「带断言的脚本」而不是「改对那个数」。

四、最该拿走的一条:panel 的结构性盲区

把 CIKM self-review 第一轮的发现和真实审稿人的九条(A–I)对了一遍:

  • 都抓到:过度主张的范围、理论深度、定理排版、ablation 偏薄
  • panel 抓到、真审稿人没抓到(约 7 条):模拟 CI 冒充真 bootstrap、intro 里 一句"全部 p=1.0"是假的、两个相邻倍数写反、一个图神经 baseline 低于已发表 SOTA 两个数量级、 秩相关当因果证据、小效应量下 power 只有 0.17、规模混淆
  • 真审稿人抓到、panel 完全没看见(4 条):代码没发布(唯一的 blocking 项)、 对一篇被引论文的协议错误归因、baseline 拿到的信息比我的方法少、只做了单一的 K

这四条形状一样:都要求把论文对外部世界核对——repo 到底能不能打开、被引论文是不是真用了 这个协议、baseline 有没有拿到同等信息、审稿人要的那个 sweep 存不存在。 panel 是拿论文对论文自己读的,所以它结构上看不见这一类。而唯一的 blocking 项就在这一类里。

和「量了一个相邻的东西」是同一科:\input 壳子上跑 overlap-check 得 0 对、 self_review.py extract 在壳子上只回 321/17,287 词后 lint 报 none flagged、 匿名闸门匹配自己的输出根——都是「没检查」被当成「没问题」。

五、校准数据

模拟 panel 收敛到一致的 Accept;真实 panel 给的是一致的 Weak Accept。收敛态大约乐观一档,而那一档正好是「录用」和 「录用但有九条必改」的差别。

怎么用

投稿前的边际一小时,花在对外部世界核对那一类上,而不是再跑一轮 panel:

  1. 匿名代码链接真的点得开吗(不是「打包器已就绪」)
  2. 引文真的用了你说它用的那个协议吗(CIKM 的 B 就是这条)
  3. baseline 和你的方法拿到的信息一样多吗
  4. 注册到投稿系统里的标题/摘要,和 PDF 是同一版吗 (实测过一批同期投稿:有一篇标题停在五天前的旧词,另一篇摘要里的 LaTeX 宏根本没展开——两者都没有任何自检会读)
  5. checklist 里还有没有 [[OUTSTANDING: …]] 这种占位符

核对时读一手发布物,不读二手描述。 2026-10-04 两个方向的实证:读 MQuAKE 源码发现,ROA-LLM 所谓「原生指标是合取」只是 MQuAKE 自己标注的 reference metric,它的主指标是对改写问题的析取; 而一份 ChroKnowBench 的二手描述(2010–2023)差点让 ROA-LLM 把正确的「13 个快照」改成错误的 14 ——发布文件里是 13 个年度字段。同一周,另一个项目按这五条核出若干处引文描述错误、一个落空的 artifact 承诺,以及方法部分与实际运行参数不一致的若干 cell。三轮 panel 一条都没碰到。

相关:自审的失效模式不是"没发现",是"发现了没执行"(自审发现了却没执行)、 预先写下停止条件——不然你会一直重写一篇投错会的论文(什么时候该停下来换赛道)。