スパarsity 意識的なモデル統合のための進化

arXiv:2602.08218v1 Announce Type: new 抽象：私たちは、スパarsity 意識的な進化 (SAE) フレームワークを提案します。このフレームワークは、反復的な剪定と統合サイクルを「新たな変異演算子」として使用します。我々は、スコア関数にスパarsity の制約を組み込み、進化的プロセスをよりスパarsity が高いモデルを好むよう導きます。また、他の従来のパフォーマンススコアも考慮します。興味深いことに、スパarsity に対する「競争」の副産物は、進化的プロセスに追加の局所的な「引き寄せ」と相互作用をもたらします：すなわち、一方の競合者がゼロ要素（0要素）を持つ場合、もう一方の競合者の非ゼロ要素は、他の位置での敗北にもかかわらず、その位置を占めます。提案されたパイプラインは、さまざまな大規模な LLM ベンチマークで評価されました。実験结果显示、我々のアプローチは複数のベンチマークでモデル統合の信頼性を向上させることができ、既存のアプローチの多くとは直交しているため、シンプルさゆえに取り入れやすくなっています。

arXiv:2602.08218v1 Announce Type: new Abstract: We propose a sparsity-aware evolutionary (SAE) framework for model merging that involves iterative pruning-merging cycles to act as a novel mutation operator. We incorporate the sparsity constraints into the score function, which steers the evolutionary process to favor more sparse models, in addition to other conventional performance scores. Interestingly, the by-product of \textit{competition} for sparsity introduces an extra local \textit{attraction} and interplay into the evolutionary process: if one competitor has more zero elements, the other competitor's non-zero elements will occupy those positions, even though the less sparse competitor loses to the more sparse competitor in other positions. The proposed pipeline is evaluated on a variety of large-scale LLM benchmarks. Experiments demonstrate that our approach can improve model merging reliability across multiple benchmarks, and is easy to incorporate due to its simplicity and being orthogonal to most existing approaches.