Retrofit: 制御された忘却を用いたバイナリセキュリティ検出・分析のための継続学習

arXiv:2511.11439v2 Announce Type: replace-cross 要約: バイナリセキュリティは、マルウェアの振る舞いやプログラムの文法を推論するために深層学習に依拠することが増えています。しかし、脅威の地形的変化やコード表現のシフトに伴い、パフォーマンスが低下する傾向にあります。継続学習（Continual Learning: CL）は、順次更新を介した自然的な解決策を提供しますが、既存の大部分のアプローチはデータ再プレイや無制約更新に依存しており、データ機微なセキュリティ環境における適用性と有効性を制限しています。私たちは、履歴データを不要としつつ各更新で制御された忘却を介して知識の保持と適応を調節する RETROFIT を提案しました。その核となるアイデアは、過去に訓練されたモデルと新たに微調整されたモデルを統合し、伝統的と新興の知識の教師役とし、回顧なしパラメータ融合を介して提供することです。忘却制御は、1) 近似正交性を目的とした低ランクおよび疎なサブ空間へのパラメータ変更の制約、および 2) 両方の教師から動的に知識を集約する自信をガイドした仲裁メカニズムの採用によって達成されています。 2 つの代表的应用に対する評価では、RETROFIT が忘却を一貫して軽減しつつ適応性を維持していることを示しました。時間的ドリフト下でのマルウェア検出において、それは CL ベースラインの 20.2% から 38.6% へと大幅に保留点を改善し、新しいデータにおけるオーケストラ上限を凌駕しました。分解レベルを跨いだバイナリ総和において、剥がかれたバイナリの分析が特に困難である場合、RETROFIT は以前のアプローチで使用された転移学習の BLEU スコアを 2 倍以上に達成し、クロス表現一般化における全てのベースラインを超えました。

arXiv:2511.11439v2 Announce Type: replace-cross Abstract: Binary security has increasingly relied on deep learning to reason about malware behavior and program semantics. However, the performance often degrades as threat landscapes evolve and code representations shift. While continual learning (CL) offers a natural solution through sequential updates, most existing approaches rely on data replay or unconstrained updates, limiting their applicability and effectiveness in data-sensitive security environments. We propose RETROFIT, which regulates knowledge retention and adaptation with controlled forgetting at each update, without requiring historical data. Our key idea is to consolidate previously trained and newly fine-tuned models, serving as teachers of legacy and emergent knowledge, through retrospective-free parameter merging. Forgetting control is achieved by 1) constraining parameter changes to low-rank and sparse subspaces for approximate orthogonality, and 2) employing a confidence-guided arbitration mechanism to dynamically aggregate knowledge from both teachers. Our evaluation on two representative applications demonstrates that RETROFIT consistently mitigates forgetting while maintaining adaptability. In malware detection under temporal drift, it substantially improves the retention score, from 20.2% to 38.6% over CL baselines, and exceeds the oracle upper bound on new data. In binary summarization across decompilation levels, where analyzing stripped binaries is especially challenging, RETROFIT achieves over 2x the BLEU score of transfer learning used in prior work and surpasses all baselines in cross-representation generalization.