MePo：再構築記憶に基づくメタポスト・リファインのためのモデル

外部環境が不定に変化するときに、知性システムは複雑で変化する環境から一貫して学習し、リアルタイムで反応することが求められます。その能力は一般的な連続的学习(GCL: General Continual Learning)と呼ばれています。この機能を効果的に満たす為にはネットワークのオンラインデータ流やぼやけたタスク境界などの現実的な課題に対処する必要があります。一部の研究は、強化学習モデルを使った一般的な継続的学習（CL：Continual Learning）が進展しましたが、これらの手法は一回目で多様なと時間帯に混ざった情報を再配置し、最適なGCLパフォーマンスを出すことに制限があることが分かっています。その解釈として、脳科学のメタ可塑性や再生記憶などの要素を組み込んでここではモデルベースの一般を補完する新しいアプローチMePo、という名前の技術を発表しています。これはプリティントラインデータから擬似的なタスクシーケンスを作り出し、最適化元となるバックボーンを磨き上げる二重メタ学習のパラダイムと呼ばれるものです。これにより既存のプリティントライン化されたベクトル場での第二階数統計を頼りにしてGCLの出力を安定的に連絡しやすい構造が作られます。 MePoは、シームレスなし直前の方法で様々なGCLメキシンブからプリティントラインチェックポイントまで優れたパフォーマンスを達成するのが特徴です。詳細についてはhttps://github.com/SunGL001/MePoと公開しています。

arXiv:2602.07940v1 Announce Type: new Abstract: To cope with uncertain changes of the external world, intelligent systems must continually learn from complex, evolving environments and respond in real time. This ability, collectively known as general continual learning (GCL), encapsulates practical challenges such as online datastreams and blurry task boundaries. Although leveraging pretrained models (PTMs) has greatly advanced conventional continual learning (CL), these methods remain limited in reconciling the diverse and temporally mixed information along a single pass, resulting in sub-optimal GCL performance. Inspired by meta-plasticity and reconstructive memory in neuroscience, we introduce here an innovative approach named Meta Post-Refinement (MePo) for PTMs-based GCL. This approach constructs pseudo task sequences from pretraining data and develops a bi-level meta-learning paradigm to refine the pretrained backbone, which serves as a prolonged pretraining phase but greatly facilitates rapid adaptation of representation learning to downstream GCL tasks. MePo further initializes a meta covariance matrix as the reference geometry of pretrained representation space, enabling GCL to exploit second-order statistics for robust output alignment. MePo serves as a plug-in strategy that achieves significant performance gains across a variety of GCL benchmarks and pretrained checkpoints in a rehearsal-free manner (e.g., 15.10\%, 13.36\%, and 12.56\% on CIFAR-100, ImageNet-R, and CUB-200 under Sup-21/1K). Our source code is available at \href{https://github.com/SunGL001/MePo}{MePo}