SMART: Multi-Task Learning におけるスペクトル転移アプローチ

arXiv:2604.20161v1 Announce Type: new 要約：マルチタスク学習は関連するアプリケーションにおいて有効ですが、ターゲットサンプル数が小さいと性能が低下します。転移学習は関連する研究から強みを借用する手法ですが、既存の多くの方法は源モデルとターゲットモデル間の制限された差（bounded-difference）の仮定に依存しています。本研究では、SMART というマルチタスク線形回帰のためのスペクトル転移手法を提案し、代わりにスペクトルの類似性を仮定します。すなわち、ターゲットの左側および右側奇异行列の基底空間は対応する源空間内にあり、源奇异基底と疎に整列されているというものです。この仮定は研究が潜在構造を共有する際に自然であり、制限された差を持つ設定を超えた転移を可能化します。SMART は、源研究からのスペクトル情報を含む構造化正則化を通じてターゲット係行列を推定します。特に、生の源データを必要とせず、ただ fitted source model（適合済み源モデル）を必要とするため、データ共有が制限されている場合に役立ちます。最適化問題が非凸であっても、実用的な ADMM ベースのアルゴリズムを開発しました。我々はノイズのない源環境における一般的な非漸近的誤差境界と最小分散下限を確立しました。追加の正則化条件の下で、これらの結果は対数因子までの近似的な最小分散 Frobenius 誤差率を生み出します。シミュレーションは推定精度の向上と負の転移に対する頑健性を確認し、多模式的単一細胞データの分析はより優れた予測性能を示しました。SMART の Python 実装および本論文のすべての実験を再現するためのコードは、https://github.com/boxinz17/smart に公開されています。

arXiv:2604.20161v1 Announce Type: new Abstract: Multi-task learning is effective for related applications, but its performance can deteriorate when the target sample size is small. Transfer learning can borrow strength from related studies; yet, many existing methods rely on restrictive bounded-difference assumptions between the source and target models. We propose SMART, a spectral transfer method for multi-task linear regression that instead assumes spectral similarity: the target left and right singular subspaces lie within the corresponding source subspaces and are sparsely aligned with the source singular bases. Such an assumption is natural when studies share latent structures and enables transfer beyond the bounded-difference settings. SMART estimates the target coefficient matrix through structured regularization that incorporates spectral information from a source study. Importantly, it requires only a fitted source model rather than the raw source data, making it useful when data sharing is limited. Although the optimization problem is nonconvex, we develop a practical ADMM-based algorithm. We establish general, non-asymptotic error bounds and a minimax lower bound in the noiseless-source regime. Under additional regularity conditions, these results yield near-minimax Frobenius error rates up to logarithmic factors. Simulations confirm improved estimation accuracy and robustness to negative transfer, and analysis of multi-modal single-cell data demonstrates better predictive performance. The Python implementation of SMART, along with the code to reproduce all experiments in this paper, is publicly available at https://github.com/boxinz17/smart.