GiVA: ベクターベース適応のための勾配に基づく基底

論文 ID: arXiv:2604.21901v1 発表タイプ: 交差 要約：モデルサイズがさらに増加するにつれて、パラメータ効率の低い微調整はフル微調整に代わる強力な選択肢として登場した。これらの手法の中で LoRA が広く採用されている一方で、近年の研究はその極限的なパラメータ効率のためベクターベース適応手法を検討し始めた。しかし、これらの手法は通常、LoRA に匹敵する性能を得るためには大幅に高いランクを必要とし、結果として訓練コストが増大する傾向にある。本稿では、ベクターベース適応のための勾配に基づく初期化戦略である GiVA を提案する。この手法は LoRA と同等の学習時間を達成しつつ、ベクターベース適応の極限的なパラメータ効率を保ったままである。私たちは自然言語理解、自然言語生成、および画像分類を含む多様なベンチマークにおいて GiVA を評価した。実験結果は、私たちのアプローチが既存のベクターベース適応手法および LoRA に比べて一貫して優れた性能または競争力のある性能を示し、かつランク要件を 8 倍（8×）削減したことを示している。

arXiv:2604.21901v1 Announce Type: cross Abstract: As model sizes continue to grow, parameter-efficient fine-tuning has emerged as a powerful alternative to full fine-tuning. While LoRA is widely adopted among these methods, recent research has explored vector-based adaptation methods due to their extreme parameter efficiency. However, these methods typically require substantially higher ranks than LoRA to match its performance, leading to increased training costs. This work introduces GiVA, a gradient-based initialization strategy for vector-based adaptation. It achieves training times comparable to LoRA and maintains the extreme parameter efficiency of vector-based adaptation. We evaluate GiVA across diverse benchmarks, including natural language understanding, natural language generation, and image classification. Experiments show that our approach consistently outperforms or achieves performance competitive with existing vector-based adaptation methods and LoRA while reducing rank requirements by a factor of eight ($8\times$).