Towards Certified Unlearning for Deep Neural Networks

arXiv:2408.00920v4 Announce Type: replace Abstract: マシンアンラーニングの分野において、確立されたアンラーニング（certified unlearning）は、高い効率性と強い理論的保証を持つため、凸型機械学習モデルで広く研究されてきた。しかし、その非凸性が特徴となるディープニューラルネットワーク（DNN）への適用には、まだ課題が残っている。確立されたアンラーニングとディープニューラルネットワークの間のギャップを埋めるため、非凸目的関数への確立されたアンラーニング手法の拡大適用を支援するため、我々はいくつかの単純な技法を提案した。複雑さの削減のため、保証条件を損なわないまま逆ヒースアンダー近似的な効率的な計算手法を開発した。さらに、現実のユーザーが異なるタイミングでアンラーニングリクエストを送信できることを考慮して、収束しないトレーニングとシークエンスアンラーニングへの確立基準の議論も拡張した。3 つの現実世界のデータセットを対象とした大規模な実験により、我々の手法の有効性と、DNN における確立されたアンラーニングの利点を示した。

arXiv:2408.00920v4 Announce Type: replace Abstract: In the field of machine unlearning, certified unlearning has been extensively studied in convex machine learning models due to its high efficiency and strong theoretical guarantees. However, its application to deep neural networks (DNNs), known for their highly nonconvex nature, still poses challenges. To bridge the gap between certified unlearning and DNNs, we propose several simple techniques to extend certified unlearning methods to nonconvex objectives. To reduce the time complexity, we develop an efficient computation method by inverse Hessian approximation without compromising certification guarantees. In addition, we extend our discussion of certification to nonconvergence training and sequential unlearning, considering that real-world users can send unlearning requests at different time points. Extensive experiments on three real-world datasets demonstrate the efficacy of our method and the advantages of certified unlearning in DNNs.