協調・効率的な微調整：タスク類似性の活用

arXiv:2602.07218v1 発表 タイプ：新規 摘要：適応性は大規模モデルの中核的な機能の一つと見なされており、これにより見えない下流タスクに効果的に適応することが可能になっています。LoRA などのパラメータ効率的な微調整手法は、ラベル付きの高品質かつ通常は限られたタスクデータを使用して、大規模な大規模モデルを効率的に適応させるのを支えています。大規模モデルの微調整におけるデータ不足を緩和するために、我々は複数の下流ユーザーの間でのタスク類似性を活用することを提案します。直感的には、類似したタスクを持つユーザーは互いに効果的な微調整データのサイズを拡大させるのを助けることができるはずです。我々は、協調的かつ効率的にパーソナライズされた大規模モデルを微調整することを可能にする協調低ランク適応（CoLoRA）を提案します。CoLoRA の主なアイデアは、すべてのタスクにわたる下流のタスク類似性を捉える共有アダプタを訓練し、ユーザー固有のタスクに適したパーソナライズされたアダプタを合わせて設計することです。我々は不斉線形回帰において CoLoRA を理論的に考察し、真の値回復に対する証明された保証を提供しました。また、異なるタスク類似性を有するいくつかの自然言語実験も実施し、同様のタスクと共同で訓練されている場合、個々のパフォーマンスが有意に向上することがさらに示されました。

arXiv:2602.07218v1 Announce Type: new Abstract: Adaptability has been regarded as a central feature in the foundation models, enabling them to effectively acclimate to unseen downstream tasks. Parameter-efficient fine-tuning methods such as celebrated LoRA facilitate efficient adaptation of large foundation models using labeled, high-quality and generally scarce task data. To mitigate data scarcity in fine-tuning of foundation models, we propose to leverage task similarity across multiple downstream users. Intuitively, users with similar tasks must be able to assist each other in boosting the effective fine-tuning data size. We propose Collaborative Low-Rank Adaptation, or CoLoRA, which exploits task similarity to collaboratively and efficiently fine-tune personalized foundation models. The main idea in CoLoRA is to train one shared adapter capturing underlying task similarities across all tasks, and personalized adapters tailored to user-specific tasks. We theoretically study CoLoRA on heterogeneous linear regression and provide provable guarantees for ground truth recovery. We also conduct several natural language experiments with varying task similarity, which further demonstrate that when trained together with similar tasks, individual performances are significantly boosted.