Crystal: Scholarly 出版物の相対的影響を特徴づける

arXiv:2603.26791v2 Announce Type: replace-cross Abstract: 被引用論文の影響を評価するには、通常、引用する論文内の孤立された文脈でその引用文脈を分析することで行われます。これは最も直接的に関係するテキストに焦点を当てますが、論文が引用するすべての作品における相対的な比較を防いでしまいます。私たちは、大規模言語モデル（LLM）を使用して、引用する論文内のすべての被引用論文を共同でランク付けすることを提案する Crystal を発表します。LLM の位置バイアスを抑えるために、私たちはランダムな順序で各リストを 3 回ランク付けし、多数決を経て影響ラベルをアグリゲートします。この共同アプローチは、引用を個別に評価するのではなく、完全な引用文脈を活用し、より信頼して影響力のある参考文献を識別します。Crystal は、人間によって注釈付けされた引用のデータセット上で、最古の最先端の影響分類器を上回り、+9.5% の精度および +8.3% の F1 スコアを実現しました。Crystal はさらに、LLM 呼び出しが少なくなることで効率性を高め、オープンソースモデルと競争力があり、スケーラブルで費用対効果の高い引用影響分析を可能にします。私たちは、未来の研究をサポートするために、ランク付け、影響ラベル、およびコードベースを公開しました。

arXiv:2603.26791v2 Announce Type: replace-cross Abstract: Assessing a cited paper's impact is typically done by analyzing its citation context in isolation within the citing paper. While this focuses on the most directly relevant text, it prevents relative comparisons across all the works a paper cites. We propose Crystal, which instead jointly ranks all cited papers within a citing paper using large language models (LLMs). To mitigate LLMs' positional bias, we rank each list three times in a randomized order and aggregate the impact labels through majority voting. This joint approach leverages the full citation context, rather than evaluating citations independently, to more reliably distinguish impactful references. Crystal outperforms a prior state-of-the-art impact classifier by +9.5% accuracy and +8.3% F1 on a dataset of human-annotated citations. Crystal further gains efficiency through fewer LLM calls and performs competitively with an open-source model, enabling scalable, cost-effective citation impact analysis. We release our rankings, impact labels, and codebase to support future research.