MetaCluster：Kolmogorov-Arnold ネットワークの深層圧縮を可能にする

arXiv:2510.19105v2 Announce Type: replace-cross 要約：Kolmogorov-Arnold ネットワーク（KAN）はスカラー重みを用いる代わりに、エッジごとの基底係数ベクターを用いることで、表現力と精度を向上させますが、パラメータ数とメモリ使用量を乗算的に増大させる問題があります。本研究では、KAN の精度を犠牲化さずに KAN を高度に圧縮可能にするフレームワークである MetaCluster を提案します。具体的には、軽量なメタ学習者が KAN と共同学習される際、低次元埋め込みを係数ベクターへマッピングし、これを低次元の集合体（manifold）上に配置するように整形します。その後、係数空間における K-means 聚类を実行し、エッジごとのベクターを共有中心点で置き換えます。その上で、メタ学習者は削除され、中心点コードブックの短い微調整により残存する精度の損失を取り戻されます。得られたモデルは、小さなコードブックとエッジごとのインデックスのみを保持し、KAN パラメータのベクター特性を活用して、複数の係数にわたるストレージを均一分配します。MNIST、CIFAR-10、CIFAR-100 において、標準的な KAN および ConvKAN を複数の基底関数を使用した場合、MetaCluster はパラメータストレージが最大 $80 imes$ 減ることができ、精度の損失はありません。また、高次元の方程式モデリングタスクにおいて、$124.1 imes$のパラメータ削減を実現し、パフォーマンスに影響を与えませんでした。コードは出版物後に公開されます。

arXiv:2510.19105v2 Announce Type: replace-cross Abstract: Kolmogorov-Arnold Networks (KANs) replace scalar weights with per-edge vectors of basis coefficients, thereby increasing expressivity and accuracy while also resulting in a multiplicative increase in parameters and memory. We propose MetaCluster, a framework that makes KANs highly compressible without sacrificing accuracy. Specifically, a lightweight meta-learner, trained jointly with the KAN, maps low-dimensional embeddings to coefficient vectors, thereby shaping them to lie on a low-dimensional manifold that is amenable to clustering. We then run K-means in coefficient space and replace per-edge vectors with shared centroids. Afterwards, the meta-learner can be discarded, and a brief fine-tuning of the centroid codebook recovers any residual accuracy loss. The resulting model stores only a small codebook and per-edge indices, exploiting the vector nature of KAN parameters to amortize storage across multiple coefficients. On MNIST, CIFAR-10, and CIFAR-100, across standard KANs and ConvKANs using multiple basis functions, MetaCluster achieves a reduction of up to $80\times$ in parameter storage, with no loss in accuracy. Similarly, on high-dimensional equation modeling tasks, MetaCluster achieves a parameter reduction of $124.1\times$, without impacting performance. Code will be released upon publication.