Separable Expert Architecture: Toward Privacy-Preserving LLM Personalization via Composable Adapters and Deletable User Proxies

arXiv:2604.21571v1 Announce Type: new 摘要：現在のモデル学習アプローチは、ユーザー情報を共有ウェイトに直接組み込み、個別データの削除をリトレーニングしない限り計算的に不可能とします。本稿では、静的なベースモデル、行動を形作るがユーザーデータを移さない可構成的なドメインエキスパート LoRA アダプター、そして削除が決定論的な忘却を構成するパーユーザープロキシアーティファクトを組み合わせることで、個人データと共有ウェイトを結合しない 3 層構成を提示します。Phi-3.5-mini と Llama-3.1-8B の評価では、個人データが出力に影響を与えながら隔離されている個用户区分を確認しました。これは、プロキシの除去後のベースラインへの帰還（KL divergence は約 0.21 nats、確認通過率は 82-89%）と、ほぼゼロのクロスユーザー汚染によって裏付けられています。ユーザー固有の情報が共有ウェイトに nunca 入るため、この構成は、モデル逆転、メンバーシップ推論、共有モデルコンポーネントからのトレーニングデータ抽出を構成上防ぎます。このアプローチは、機械学習における忘却を、不可能とされたウェイト編集の問題から、個人化を保ちつつプライバシー強化の保証を備え、また差分プライバシー stochastic gradient descent (DP-SGD) に互換性のある決定論的な削除操作に変換します。

arXiv:2604.21571v1 Announce Type: new Abstract: Current model training approaches incorporate user information directly into shared weights, making individual data removal computationally infeasible without retraining. This paper presents a three-layer architecture that decouples personal data from shared weights by combining a static base model, composable domain-expert LoRA adapters that shape behavior without imparting user data, and per-user proxy artefacts whose deletion constitutes deterministic unlearning. Evaluation on Phi-3.5-mini and Llama-3.1-8B confirms per-user differentiation in which personal data influences outputs while remaining isolated, verified by a return to baseline after proxy removal (KL divergence of approximately 0.21 nats, 82-89% verification pass rate) and near-zero cross-user contamination. Because user-specific information never enters shared weights, the architecture mitigates model inversion, membership inference, and training-data extraction against shared model components by construction. The approach converts machine unlearning from an intractable weight-editing problem into a deterministic deletion operation that preserves personalization alongside privacy-enhancing guarantees and is compatible with differentially private stochastic gradient descent (DP-SGD) for privacy-preserving shared model improvement.