コンセプトに基づくプライバシーメカニズム：テンソル埋め込みの逆戦術に向け

テキストの埋め込みは、多くのNLPアプリケーションを実現するが、埋め込みの逆操作攻撃や敏感な属性、または元の原文を再構築するための厳しいプライバシーリスクも引き受ける。現在の差分プライバシーの防御は、埋め込みディメンション間で一貫性のある感度を仮定しており、結果として過剤のノイズが生じ、エンドツルーティナリティが低下する。我々は、ユーザー固有のコンセプトを持つテキストの埋め込まれに対して概念特化したプライバシー保護のフрейムワークであるSPARSEを提案している。SPARSEは、(1)のユーザーエリアによって特定されたコンセプトに関するプライバシーリンクを解析する多変量学習と(2)が、ディメンション感度に基づくエルミート的なノイズを適用したマハラノビッチ・メカニズムで構成されている。類似的な球面のノイズインジェクションとは異なるSPARSEは、保守的非関連のセマンティックスとともにプライバシーに関心のあるディメンションのみに偏在したノイズを注入する。六つのデータセットと三種類の埋め込みモデルに対して評価され、攻撃シナリオに対するSPARSEは統合されたパフォーマンスを向上させつつプライバシー漏洩を減じる。””といった文章では始まっている。“

arXiv:2602.07090v1 Announce Type: cross Abstract: Text embeddings enable numerous NLP applications but face severe privacy risks from embedding inversion attacks, which can expose sensitive attributes or reconstruct raw text. Existing differential privacy defenses assume uniform sensitivity across embedding dimensions, leading to excessive noise and degraded utility. We propose SPARSE, a user-centric framework for concept-specific privacy protection in text embeddings. SPARSE combines (1) differentiable mask learning to identify privacy-sensitive dimensions for user-defined concepts, and (2) the Mahalanobis mechanism that applies elliptical noise calibrated by dimension sensitivity. Unlike traditional spherical noise injection, SPARSE selectively perturbs privacy-sensitive dimensions while preserving non-sensitive semantics. Evaluated across six datasets with three embedding models and attack scenarios, SPARSE consistently reduces privacy leakage while achieving superior downstream performance compared to state-of-the-art DP methods.