神経表現における自己次元推定の再考

arXiv:2604.20276v1 発表タイプ：新 要旨：神経表現の解析は、神経ネットワークの内部構造をより深く理解することを目指す研究において不可欠な要素となっています。神経表現を調査するさまざまなアプローチが存在しますが、重要な研究の一つは、内在次元 (ID) の視点を通じてそれを行うことに焦点を当てています。although これなる観点によって貴重な洞察が得られ、膨大な后继研究を刺激したことは確かですが、このアプローチの重要な限界は依然としてほとんど対処されていません。本稿では、神経表現における ID の理論と実践の間に存在する決定的な矛盾を指摘し、理論的・経験的・両面から、一般的な ID 推定器が実際の表現の真の内在次元を追跡していないことを示しました。我々は、この否定的な結果に対して、文献に報告されている神経表現における ID に関連する一般的な結果を導き出す可能性がある背後にある要因を探査する研究との対比を行います。これらの洞察に基づき、我々は神経表現における ID 推定に関する新しい視点を提供します。

arXiv:2604.20276v1 Announce Type: new Abstract: The analysis of neural representation has become an integral part of research aiming to better understand the inner workings of neural networks. While there are many different approaches to investigate neural representations, an important line of research has focused on doing so through the lens of intrinsic dimensions (IDs). Although this perspective has provided valuable insights and stimulated substantial follow-up research, important limitations of this approach have remained largely unaddressed. In this paper, we highlight a crucial discrepancy between theory and practice of IDs in neural representations, theoretically and empirically showing that common ID estimators are, in fact, not tracking the true underlying ID of the representation. We contrast this negative result with an investigation of the underlying factors that may drive commonly reported ID-related results on neural representation in the literature. Building on these insights, we offer a new perspective on ID estimation in neural representations.