Back to list
arxiv_cs_lg 2026年2月10日

学習の熱力学理論第二部:臨界期間の閉鎖と継続的学習の失敗

A Thermodynamic Theory of Learning Part II: Critical Period Closure and Continual Learning Failure

Translated: 2026/3/15 14:49:37
thermodynamicscontinual-learningmachine-learningentropy-productioninformation-geometry

Japanese Translation

arXiv:2602.07950v1 Announce Type: new 要約:有限時間で実行される学習は本質的に不可逆的である。このシリーズの第一部では、パラメータ分布の空間における運搬過程として学習をモデル化し、有限時間学習におけるエントロピー生成の下界となる「認識速度限界 (Epistemic Speed Limit)」を導出した。 本論文(第二部)では、この不可逆性が一貫した学習(continual learning)にどのような帰結をもたらすかを、経路レベルの視点から考察する。我々は示す通り、有限な耗散は、単に到達可能な解決策の集合だけでなく、動的にアクセス可能な学習経路の集合を制限する。 たとえ複数の実現化形式(task-equivalent realizations)の連続体が同様のタスクパフォーマンスを達成できるにもかかわらず、有限時間の学習はこれら実現化形式の中から不可逆的に選択を行う。この選択は、本来構造再配置を可能にし得る自由度を段階的に消去することで行われる。我々はこの現象を「臨界期間の閉鎖(critical period closure)」と呼称する:ある学習段階を過ぎると、いかなる有限の耗散予算であっても、互いに相関する表現形式間の遷移は動的にアクセス不可能になる。 したがって、継続的学習の失敗は、複数のタスクを満たす解決策が存在しないという問題ではなく、既往の学習によって誘発された表現的自由さ(representational freedom)の不可逆的な喪失に起因するものである。これにより、カオスタストリックフォgetting は、直接のタスク干渉ではなく、有限時間の耗散によって課される動的制約として再定義される。

Original Content

arXiv:2602.07950v1 Announce Type: new Abstract: Learning performed over finite time is necessarily irreversible. In Part~I of this series, we modeled learning as a transport process in the space of parameter distributions and derived the Epistemic Speed Limit, which lower-bounds entropy production under finite-time learning. In this work (Part~II), we study the consequences of this irreversibility for continual learning from a trajectory-level perspective. We show that finite dissipation constrains not only which solutions are reachable, but which learning paths remain dynamically accessible. Although a continuum of task-equivalent realizations can achieve identical task performance, finite-time learning irreversibly selects among these realizations. This selection occurs through the progressive elimination of degrees of freedom that would otherwise enable structural reconfiguration. We refer to this phenomenon as \emph{critical period closure}: beyond a certain stage of learning, transitions between compatible representations become dynamically inaccessible under any finite dissipation budget. As a result, continual learning failure arises not from the absence of solutions satisfying multiple tasks, but from an irreversible loss of representational freedom induced by prior learning. This reframes catastrophic forgetting as a dynamical constraint imposed by finite-time dissipation, rather than direct task interference.