Bias Scoresを超えて：小規模言語モデルの虚偽中立を明かす

小規模言語モデル（SLMs）を無資源化されたアプリケーションに採用した業界広まりに伴って、それらの倫理的・公平性への影響に関する理解が追いついています。このギャップを埋めるためには、我々はVasNeuという多視点評価パラマネジメントを開発しました。SLMの公平性のデプロイ前に検討します。このフレームワークは、4つの段階に亘るモデルの固有性（バイアス、有用性、曖昧さ対策、および社会的バイアスカテゴリのポジションバイアス）を見ていきます。我々の専門家の知識としての調査を発表し、その0.5-5ブータブルのparameter範囲で行われた大規模審査は、「BERTクラシックエンコーダ」と「旗艦LLM」の間の「中位テイク」を見落とされました。我々は9つの一般的に利用されるSLMsを、 ambiguous や disambiguated なコンテキスト下でそれぞれ評価しました。私たちの結果に基づいてモデルが早期段階での低バイアスを示した後に、予想外の弱点と不確かな理由を見出し、これらはSLMに関するより広範な理解のための必要性を示しました。これらの研究結果は、ロールアウトの社会的な感度の設定環境で公平性や信頼性のある手法が必要であるという立場のフレームワークを位置付けることを示しています。

arXiv:2506.08487v3 Announce Type: replace-cross Abstract: The rapid adoption of Small Language Models (SLMs) for resource constrained applications has outpaced our understanding of their ethical and fairness implications. To address this gap, we introduce the Vacuous Neutrality Framework (VaNeu), a multi-dimensional evaluation paradigm designed to assess SLM fairness prior to deployment. The framework examines model robustness across four stages - biases, utility, ambiguity handling, and positional bias over diverse social bias categories. To the best of our knowledge, this work presents the first large-scale audit of SLMs in the 0.5-5B parameter range, an overlooked "middle tier" between BERT-class encoders and flagship LLMs. We evaluate nine widely used SLMs spanning four model families under both ambiguous and disambiguated contexts. Our findings show that models demonstrating low bias in early stages often fail subsequent evaluations, revealing hidden vulnerabilities and unreliable reasoning. These results underscore the need for a more comprehensive understanding of fairness and reliability in SLMs, and position the proposed framework as a principled tool for responsible deployment in socially sensitive settings.