Single-Stimulus, Intra-Modal Dispersion に基づいたクロスモーダル収束の調節

arXiv:2604.21836v1 Announce Type: cross Abstract: 神経ネットワークは、多様なアーキテクチャ、トレーニング目的、さらにはデータモードを超えて驚くべき程度のアリランスの収束を示します。この収束は、脳のアリランスとの整合性を予示します。最近の仮説は、これは学習が環境の下位構造を類似の方法で学び得ることに起因すると提唱しています。しかし、個々の刺激がどのようにしてネットワークを超えた収束的な表現を誘発するかはまだ不明です。画像は複数の方法で認識され、単語を用いて異なって表現される可能性があります。ここでは、一般化のプロクリューセス演算法に基づく方法を導入し、単一刺激レベルでのイントラモーダル表現収束を測定します。私たちはこれを目的が異なる視覚モデルに適用し、イントラモーダル分散の度合いに基づいて刺激を選択しました。至关重要的是、私たちはこのイントラモーダル分散が、視覚モデルと言語モデルとの間のクロスモーダル収束を強く調節することがわかったのです。具体的には、イントラモーダル分散が低い（視覚モデル間の合意が低い）刺激は、分散が高い刺激に比べて最大 2 倍のクロスモーダルアリランスを誘発しました（例：DINOv2 と言語モデルの組み合わせ）。この効果は刺激選択基準に耐性があり、異なる視覚モデルと言語モデルの組み合わせに一般化しました。単一刺激レベルでの収束測定は、モード間および神経ネットワークと人間の神経表現間の収束と発散の源を理解する道を開きます。

arXiv:2604.21836v1 Announce Type: cross Abstract: Neural networks exhibit a remarkable degree of representational convergence across diverse architectures, training objectives, and even data modalities. This convergence is predictive of alignment with brain representation. A recent hypothesis suggests this arises from learning the underlying structure in the environment in similar ways. However, it is unclear how individual stimuli elicit convergent representations across networks. An image can be perceived in multiple ways and expressed differently using words. Here, we introduce a methodology based on the Generalized Procrustes Algorithm to measure intra-modal representational convergence at the single-stimulus level. We applied this to vision models with distinct training objectives, selecting stimuli based on their degree of alignment (intra-modal dispersion). Crucially, we found that this intra-modal dispersion strongly modulates alignment between vision and language models (cross-modal convergence). Specifically, stimuli with low intra-modal dispersion (high agreement among vision models) elicited significantly higher cross-modal alignment than those with high dispersion, by up to a factor of two (e.g., in pairings of DINOv2 with language models). This effect was robust to stimulus selection criteria and generalized across different pairings of vision and language models. Measuring convergence at the single-stimulus level provides a path toward understanding the sources of convergence and divergence across modalities, and between neural networks and human neural representations.