新智元报道
：桃子
【新智元导读】 ICLR 2025评审已经开始了，今年审稿人高达15000+名，为了提高审稿质量，多个大模型组成的智能体也要参与审稿了。
ICLR 2025审稿正式开启了，预计截止到11月3日。
而且，每位审稿人最多被分配到3篇论文，就是为了让大家深思熟虑去撰写高质量反馈。
与2024年一样，今年论文提交数量再创新高！
ICLR 2025共有11000多篇论文提交，同比增长61%。ICLR 2024同比增长47%。
如此多的论文，究竟该怎么审？如何获得建设性、高质量同行评审？
而且，论文提交数增加，对评审员需求也会增加，往往导致评审质量不一致问题。
对此，ICLR官方竟引入了「评审反馈智能体」（review feedback agent），让AI去识别审查中的问题，并向审稿人反馈改进。
ICLR顶会每年举办一次，2025年将是第13届年会，于4月24日-28日将在新加坡举办。
今年顶会，着实有些不同。
官方让AI来参与审稿了
不过，不是让AI完全审稿。
目的是为了，让AI帮助审稿人的评审结果，更具建设性、可操作性。
为此，ICLR使用了多个大模型设计出反馈系统，就是为了将化觉降到最低，提高反馈质量。而且，该系统已经在ICLR 2024评审意见上，进行了测试。
「评审反馈智能体」将就审稿中可能存在的三类问题，提供建议。
ICLR 2025官方组委会通过汇编公众评论，并评估了以往ICLR审稿确定了这三类问题：
- 鼓励审稿人改写含糊的评论，让其对更具可操作性；
- 突出文章中可能已经回答了审稿人一些问题的部分；
- 在评审中，发现并处理不专业、不恰当的言论。
如下，是由AI为以上三种类别标记的评论的示例，并给出一个示例反馈。
首先，第一种提升准确性。
以往几届，不论是哪个顶会，都会被们吐槽的一个问题是——审稿人太糊弄了。
一句话——这篇论文还应提供更多实验数据，直接给了低分。
而这次，审稿人这种模棱两可的评论，就要被AI「打回去」了。
AI会给审稿人提供一种建议：
其次，内容明确。
当审稿人评论称，「在图4中，Transformer的效率实验没有结果，这是一个关键的限制因素」。
而论文中，可能包含了这个结果，只是审稿人没有注意到。
AI这时便会明确告诉他，图5回答了这个问题。
最后，针对不恰当评论。
比如，审稿人会说，「完全不知自己想要做什么」。
AI会建议道，「我们感谢您的评论，但恳请您将评论重点放在论文的具体内容和方法上，而不是对发表个人意见」。
AI不会取代审稿人
官方表示了，智能体系统不会取代任何人类审稿人，而且也不会撰写审稿评论，或直接对评论自动。
相反，它将作为一个助手，提供可选的反馈。审稿人可以选择接纳，或者忽略。
与以往的ICLR顶会一样，每一份提交的论文皆由人类审稿人独立进行反馈，最终的「接收」决定，将由ACS、SAS和审稿人做出。
而且，AI将为随机选择的一部分初始评审提供反馈，以便进行比较并评估其影响。
在评审意见对公开之前，审稿人将有机会更新他们的评审（如果愿意的话）。
AI一般在提交评审后的几小时内，向审稿人提供建议。对后续的审稿人回应将不再提供反馈，审稿人与反馈系统之间也不会有进一步的互动。
此外，反馈只对评审员和ICLR项目主席可见；不会与其他评审员、或区域主席（AC）分享，也不会影响录用决定。
审稿人太多了
据官方统计，今年有15249位审稿人，824位AC，以及71位高级AC。
由于邀请了太多的审稿人，导致许多人尽管收到了电子邮件通知，却没有收到任何评审的论文。
还有人指出，自己看到审稿人的自定义最大论文数（custom-max-papers）设置为0，本应无法分配到论文，但他们却被分配了一篇论文。这是怎么回事？
目前，这些问题还待ICLR去解决。
博客文章，也能提交
延续之前的传统，今年ICLR顶会继续批准提交博客类型的文章。
提交的文章，需要符合以下要点：
- 回顾过去的工作并总结结果，提出新的直觉，或指出一些不足之处
- 对现有的机器学习概念或技术提出新颖的观点或解释
- 从新的角度讨论机器学习中的重要问题，如可复现性
- 分析机器学习和人工智能最新进展的社会影响
- 你尝试过但未成功的有趣研究想法
去年被接收的博客文章，感兴趣的童鞋可作参考。
参考资料：
https://x.com/Yoshua_Bengio/status/1846197032966385867
https://blog.iclr.cc/2024/10/09/iclr2025-assisting-reviewers/
