OmniReview: 大规模バーゼルラインとLLM強化フレームワークによる実在感溢れるレビュアー推薦

大学研究者レビューは、學術的な承認の基礎となったが、データと方策でのいくつかの課題を抱えています。データ面から言うと、現存した研究成果はスケールの大きいと認められるvalidatedバーゼルライン及び無視的に評価指標が充足されておらず、それが現実世界の編集プロセスを反映していません。そこで OmniReview という総合的なデータセットを開発しました。これは多源学術プラットフォームからの整合性確保済み専門家プロフィールにより構築され、合計202,756の verifiedレビュー記録が付与されました。このデータを使用し、提案の評価については回帰から優れた専門家の識別までを含む3層からの階級化型評価フレームワークを開発しました。方策側に目を向けると、現存する埋め込みのアプローチは、情報ボットからの情報を格納し、解釈性が不足しているため問題となります。そこで、存在する埋め込み・アプローチの課題に対応するために、新たなフレームワーク Profiling Scholars with Multi-gate Mixture-of-Experts (Pro-MMoE) を提案しました。具体的には、このMMoEはLMIを用いて専門家の細かい知識を保ったまま解釈性を維持し、TAsメカニズムを利用し競合の評価目標の再平衡を調整します。完全な実験によりPro-MMoEは六つのうちの七つの指標で最上級の性能を達成し、リアルなレビュアー推薦に関する新たなバーゾラインを導入しました。

arXiv:2602.08896v1 Announce Type: cross Abstract: Academic peer review remains the cornerstone of scholarly validation, yet the field faces some challenges in data and methods. From the data perspective, existing research is hindered by the scarcity of large-scale, verified benchmarks and oversimplified evaluation metrics that fail to reflect real-world editorial workflows. To bridge this gap, we present OmniReview, a comprehensive dataset constructed by integrating multi-source academic platforms encompassing comprehensive scholarly profiles through the disambiguation pipeline, yielding 202, 756 verified review records. Based on this data, we introduce a three-tier hierarchical evaluaion framework to assess recommendations from recall to precise expert identification. From the method perspective, existing embedding-based approaches suffer from the information bottleneck of semantic compression and limited interpretability. To resolve these method limitations, we propose Profiling Scholars with Multi-gate Mixture-of-Experts (Pro-MMoE), a novel framework that synergizes Large Language Models (LLMs) with Multi-task Learning. Specifically, it utilizes LLM-generated semantic profiles to preserve fine-grained expertise nuances and interpretability, while employing a Task-Adaptive MMoE architecture to dynamically balance conflicting evaluation goals. Comprehensive experiments demonstrate that Pro-MMoE achieves state-of-the-art performance across six of seven metrics, establishing a new benchmark for realistic reviewer recommendation.