Paper Copilot: AI 会議におけるピアレビューの変遷を追跡する

arXiv:2510.13201v2 Announce Type: replace 摘要: AI 会議の急速な拡大は、すでに脆弱なピアレビューシステムを圧迫しており、レビュー担当者の負荷増、専門性のミスマッチ、評価基準の不整合、表面化やテンプレート化されたレビュー、そして圧縮されたタイムラインによる限られた責任追及をもたらしています。それに対処するため、会議組織者は新しいポリシーと介入措置を導入して、レビュー基準を保全しようと努めています。しかし、これらの即時的な変更は、しばしばレビュープロセスに関するさらなる懸念と混乱を招き、論文が最終的に承認されるプロセスや、何年にもわたって実践がどのように進化するかは、まだ不透明のままです。 私たちは、広範なコンピュータサイエンスの場所において、ピアレビューを長期的なデジタルアーカイブとして記録する「Paper Copilot」システムの提案を行います。また、規模の大きな研究者集団によってピアレビューを研究できるオープンセット、および複数年間にわたる ICLR レビューの大規模な実証分析を提供します。インフラとデータセットの両方を公開することで、Paper Copilot はピアレビューの変遷に焦点を当てた再現可能な研究を支援します。私たちは、これらのリソースがコミュニティが変化を追跡し、失敗モードを診断し、より堅牢で透明性が高く、信頼性の高いピアレビューシステムに向けた根拠に基づいた改善を導き出すことに貢献することを願っています。

arXiv:2510.13201v2 Announce Type: replace Abstract: The rapid growth of AI conferences is straining an already fragile peer-review system, leading to heavy reviewer workloads, expertise mismatches, inconsistent evaluation standards, superficial or templated reviews, and limited accountability under compressed timelines. In response, conference organizers have introduced new policies and interventions to preserve review standards. Yet these ad-hoc changes often create further concerns and confusion about the review process, leaving how papers are ultimately accepted - and how practices evolve across years - largely opaque. We present Paper Copilot, a system that creates durable digital archives of peer reviews across a wide range of computer-science venues, an open dataset that enables researchers to study peer review at scale, and a large-scale empirical analysis of ICLR reviews spanning multiple years. By releasing both the infrastructure and the dataset, Paper Copilot supports reproducible research on the evolution of peer review. We hope these resources help the community track changes, diagnose failure modes, and inform evidence-based improvements toward a more robust, transparent, and reliable peer-review system.