多様性の利点：比較と評価を結合した効率的なスコアリング

arXiv:2602.08033v1 公式タイプ：新規発表 要約: 人間に個別的に、あるいは比較的にエンティティを評価させるべきか。この問題は長年の議論の的であった。本研究において、両方の形態の好意思求を組み合わせることの効用は、いずれか一つのみに焦点を当てることよりも上回ることを示す。具体的には、比較と評価の両方のシグナルから学習を可能にする統一的確率的モデルである SCoRa（Scoring from Comparisons and Ratings）を導入する。SCoRa の MAP 推定量は良好な振る舞いをすることを証明し、単調性と頑健性の保証を確認する。その後、SCoRa がモデルミスマッチであっても正確なスコアを復元できると実証的に示す。最も興味深いのは、比較と評価を組み合わせることの方が、いずれか一方のみを使用するよりも上回る現実的な設定を特定したことである。この場合、上位エンティティの正確な順序付けが重要となる。事実、複数の種類のシグナルの利用が確立されているため、SCoRa は好意思求の学習のために汎用的な基盤を提供する。

arXiv:2602.08033v1 Announce Type: new Abstract: Should humans be asked to evaluate entities individually or comparatively? This question has been the subject of long debates. In this work, we show that, interestingly, combining both forms of preference elicitation can outperform the focus on a single kind. More specifically, we introduce SCoRa (Scoring from Comparisons and Ratings), a unified probabilistic model that allows to learn from both signals. We prove that the MAP estimator of SCoRa is well-behaved. It verifies monotonicity and robustness guarantees. We then empirically show that SCoRa recovers accurate scores, even under model mismatch. Most interestingly, we identify a realistic setting where combining comparisons and ratings outperforms using either one alone, and when the accurate ordering of top entities is critical. Given the de facto availability of signals of multiple forms, SCoRa additionally offers a versatile foundation for preference learning.