MCQ を越える：方言バリエーションを含むオープンエンドなアラビア語文化的 QA ベンチマーク

arXiv:2510.24328v2 Announce Type: replace-cross 要約：大規模言語モデル（LLM）は日常の質問に応答する用途で増えつつありますが、文化的文脈や方言コンテンツに対するパフォーマンスは言語間で不均一です。我々は、(i) 現代標準アラビア語（MSA）の複数選択式（MCQ）を英語と複数のアラビア語方言へ翻訳し、(ii) オープンエンド式（OEQ）へ変換し、(iii) MCQ 及 OEQ セットの下でゼロショットおよびファインチューン済み LLM の範囲を広範にベンチマークし、(iv) ステップバイステップの推理のためにモデルをファインチューニングする目的でチェーン・オブ・サウスの推論根拠を生成するという包括的な方法を提案します。この方法を用いて、我々は QA が複数の言語バリエーションに平行にアラインされた既存のデータセットを広範に拡張し、我々の知る限り同種のものとしては初めてです。我々はオープンモデルおよびクロウドルモデルと広範な実験を実行しました。我々の発見は、(i) モデルはアラビア語方言で性能が劣っており、文化的文脈と方言固有の知識の恒久的不備が明らかになる、(ii) アラビア語中心のモデルは MCQ では良好だが OEQ では苦戦する、(iii) コトが判断された正解率を向上させる一方で n-gram 指標ではバラつきを生じるという点です。開発されたデータセットは、将来の研究をサポートするために文化的・言語的に包摂的な評価に関する研究への公開リリースが行われます。

arXiv:2510.24328v2 Announce Type: replace-cross Abstract: Large Language Models (LLMs) are increasingly used to answer everyday questions, yet their performance on culturally grounded and dialectal content remains uneven across languages. We propose a comprehensive method that (i) translates Modern Standard Arabic (MSA) multiple-choice questions (MCQs) into English and several Arabic dialects, (ii) converts them into open-ended questions (OEQs), (iii) benchmarks a range of zero-shot and fine-tuned LLMs under both MCQ and OEQ settings, and (iv) generates chain-of-thought (CoT) rationales to fine-tune models for step-by-step reasoning. Using this method, we extend an existing dataset in which QAs are parallelly aligned across multiple language varieties, making it, to our knowledge, the first of its kind. We conduct extensive experiments with both open and closed models. Our findings show that (i) models underperform on Arabic dialects, revealing persistent gaps in culturally grounded and dialect-specific knowledge; (ii) Arabic-centric models perform well on MCQs but struggle with OEQs; and (iii) CoT improves judged correctness while yielding mixed n-gram-based metrics. The developed dataset will be publicly released to support further research on culturally and linguistically inclusive evaluation.