COMPASS: 適応的な意味サンプルを用いた連続型多言語 PEFT

arXiv:2604.20720v1 Announce Type: new 大規模言語モデル（LLMs）は、言語間で性能の差異を示し、単純な多言語微調は、負の相互言語干渉のために性能を低下させることがよくあります。これを解決するために、我々は COMPASS（COntinual Multilingual PEFT with Adaptive Semantic Sampling）を導入しました。これは、LLM をターゲット言語に適応させるための革新的なデータセンターな枠組みです。COMPASS は、軽量化された言語固有のアダプタを、慎重に選択された補助多言語データセットに訓練することにより、パラメータ効率的な微調（PEFT）を利用します。我々の方法の中核は、既存のトレーニングデータとターゲット使用分布の間の意味的なギャップを特定するために、多言語埋め込みとクラスタリングを利用する分布意識的なサンプリング戦略です。COMPASS は、不足している意味的クラスターからの補助データを優先的に使用することで、正の相互言語転移を最大化し、干渉を最小化します。我々は、この方法を continual learning フレームワーク（COMPASS-ECDA）に拡張し、プロダクション環境でのデータ分布シフトを監視し、アダプタを動的に更新することで、モデルの陳腐化を防ぎます。これは新しいデータへの適応と既存知識の保持をバランスよく調整します。 Phi-4-Mini, Llama-3.1-8B, Qwen2.5-7B の 3 つの異なるモデルアーキテクチャと、Global-MMLU, MMLU-ProX などの複数の挑戦的な多言語ベンチマーク（未見の長文脈タスク OneRuler を含む）を用いて、COMPASS が言語相似性に基づいたベースライン方法を一貫して優れることを示しました。これは、動的環境において高パフォーマンスの多言語モデルの開発と維持に効果的、効率的、持続可能なソリューションを提供します。

arXiv:2604.20720v1 Announce Type: new Abstract: Large language models (LLMs) often exhibit performance disparities across languages, with naive multilingual fine-tuning frequently degrading performance due to negative cross-lingual interference. To address this, we introduce COMPASS (COntinual Multilingual PEFT with Adaptive Semantic Sampling), a novel data-centric framework for adapting LLMs to target languages. COMPASS leverages parameter-efficient fine-tuning (PEFT) by training lightweight, language-specific adapters on a judiciously selected subset of auxiliary multilingual data. The core of our method is a distribution-aware sampling strategy that uses multilingual embeddings and clustering to identify semantic gaps between existing training data and a target usage distribution. By prioritizing auxiliary data from under-represented semantic clusters, COMPASS maximizes positive cross-lingual transfer while minimizing interference. We extend this into a continual learning framework, COMPASS-ECDA, which monitors for data distribution shifts in production and dynamically updates adapters to prevent model staleness, balancing adaptation to new data with the preservation of existing knowledge. Across three different model architectures (Phi-4-Mini, Llama-3.1-8B, and Qwen2.5-7B) and multiple challenging multilingual benchmarks (Global-MMLU, MMLU-ProX), including unseen long-context tasks (OneRuler), we demonstrate that COMPASS consistently outperforms baseline methods guided by linguistic similarity, providing an effective, efficient, and sustainable solution for developing and maintaining high-performing multilingual models in dynamic environments.