分布シフトアラインメントが、LLM による調査回答分布のシミュレーションを支援する

arXiv:2510.21977v2 Announce Type: replace 要旨：大規模言語モデル（LLM）は、人間の調査回答をシミュレーションする有望な手段であり、大規模なデータ収集のコスト削減につながることが可能性があります。しかし、既存のゼロショット手法はプロンプト感度が高く精度が低く、従来のファインチューニング手法は学習セットの分布にのみ適合しており、それ自体が学習セットと異なる元の目的である LLM による調査回答のシミュレーションの精度を超える結果を産出する際に困難を伴います。この観察に基づき、私たちは出力分布と異なる背景間の分布シフトの両方をアラインメントする二段階のファインチューニング手法である「分布シフトアラインメント（DSA）」を導入します。DSA は学習データのフィッティングではなく、これらの分布の変化を学習することで、学習データに対して真の分布に大幅に近づく結果を提供できます。経験的に、DSA は 5 つの公開調査データセットで他の手法に一貫して優れています。さらに、精度、ロバストネス、およびデータ節約を含む包括的な比較を行いました。DSA は必要な現実データ量を 53.48%〜69.12% 削減し、その調査シミュレーションにおける効果と効率性を示しました。

arXiv:2510.21977v2 Announce Type: replace Abstract: Large language models (LLMs) offer a promising way to simulate human survey responses, potentially reducing the cost of large-scale data collection. However, existing zero-shot methods suffer from prompt sensitivity and low accuracy, while conventional fine-tuning approaches mostly fit the training set distributions and struggle to produce results more accurate than the training set itself, which deviates from the original goal of using LLMs to simulate survey responses. Building on this observation, we introduce Distribution Shift Alignment (DSA), a two-stage fine-tuning method that aligns both the output distributions and the distribution shifts across different backgrounds. By learning how these distributions change rather than fitting training data, DSA can provide results substantially closer to the true distribution than the training data. Empirically, DSA consistently outperforms other methods on five public survey datasets. We further conduct a comprehensive comparison covering accuracy, robustness, and data savings. DSA reduces the required real data by 53.48-69.12%, demonstrating its effectiveness and efficiency in survey simulation.