Mutual information and task-relevant latent dimensionality

arXiv:2602.08105v1 Announce Type: new Abstract: Predictive目的に必要な潜空間の次元、すなわちタスク関連次元の推定は、広く科学的応用がある難解な未解決課題です。私たちはこれを情報ボタleneckの問題として提起し、予測者と予測された観測を圧縮するのに十分な埋め込みボタleneck次元とは何か、その相互情報量（MI）を保持しつつ問いました。これは、次元推定のためのニューラル相互情報量推定器の用途転換を意味します。我々は、標準的なニューラル推定器が分離可能/二乗相関批評子を備える場合、推定された次元が系統的に過大評価されることを示し、これを補正するために、潜在的な幾何学的形を保ちつつ柔軟な非線形クロスビュー相互作用を許容する明示的な次元ボタleneckを維持するハイブリッド批評子を導入しました。さらに、一つの手で、単一の過パラメータ化されたハイブリッドモデルから有効次元を直接読み取り、ボタleneckサイズをスキャンすることなく有効次元の推定プロトコルを提案しました。私たちは、既知のタスク関連次元を持つ合成問題でこのアプローチを検証しました。古典的な幾何学的次元推定器と比較可能な形で、単一のデータセットのペアビューを作成することによって、我々は内在次元の推定も可能にしました。従来の推定器が劣化するノイズの強い環境では、我々のアプローチは依然として信頼性を持つことを確認しました。最後に、物理学的データセットの複数にわたってこの方法の実用性を示しました。

arXiv:2602.08105v1 Announce Type: new Abstract: Estimating the dimensionality of the latent representation needed for prediction -- the task-relevant dimension -- is a difficult, largely unsolved problem with broad scientific applications. We cast it as an Information Bottleneck question: what embedding bottleneck dimension is sufficient to compress predictor and predicted views while preserving their mutual information (MI). This repurposes neural MI estimators for dimensionality estimation. We show that standard neural estimators with separable/bilinear critics systematically inflate the inferred dimension, and we address this by introducing a hybrid critic that retains an explicit dimensional bottleneck while allowing flexible nonlinear cross-view interactions, thereby preserving the latent geometry. We further propose a one-shot protocol that reads off the effective dimension from a single over-parameterized hybrid model, without sweeping over bottleneck sizes. We validate the approach on synthetic problems with known task-relevant dimension. We extend the approach to intrinsic dimensionality by constructing paired views of a single dataset, enabling comparison with classical geometric dimension estimators. In noisy regimes where those estimators degrade, our approach remains reliable. Finally, we demonstrate the utility of the method on multiple physics datasets.