PULSE: 豊富な情報から実行可能なセンサーへの特権知識転移のための体感型マルチセンサー学習

arXiv:2510.24058v3 Announce Type: replace-cross 要約: wearable 体センサーネットワークから器械化されたロボットプラットフォームまで、体感型知能のためのマルチセンサーシステムは、センサー非対称性の問題に直面しています。実験データ収集時に入手可能な最も情報量が多いモードは、コスト、脆弱性、または物理的操作への干渉のために、実運用時に欠如しているか非現実的です。私たちは、情報に富んだ教師センサーから、より安価で実運用準備された学生センサーへの「特権知識の転移」のための一般フレームワークである PULSE を提案します。各学生エンコーダーは、共有（モード不変）と個別（モード固有）の埋め込みを生成します。共有サブ空間はモード間に対して整列され、その後、多層隠れ状態とプooled embedding distillation を使用して、凍結された教師の表現に一致させます。個別埋め込みは、自己教師上制学習の再構築が重要であることを防ぐために不可欠であると我々が示したように、モード固有の構造を保持します。われわれは、ウェアラブルストレスモニタータスク上で PULSE を実装し、電位差導出能動（EDA）を特権教師、心電図（ECG）、動脈血飽和度（BVP）、加速度計、および温度を学生として使用しました。WESAD ベンチマークでの subject-leave-one-out 評価において、推論時に EDA を使用せずに、PULSE は 0.994 AUROC および 0.988 AUPRC（STRESS では 0.965/0.955）を達成し、すべての無 EDA ベースラインを超え、テスト時に EDA を保持するフルセンサーモデルの性能に匹敵しました。われわれは、ECG を教師とするモード不感応転移をさらに示し、隠れ状態マッチングの深度、共有 - 個別容量、ヒンジ損失マージン、フュージョン戦略、およびモードドロップアウトに関する詳細なアベレーションを行い、触覚、慣性、生電気モードを含む広範な体感感知シナリオにフレームワークが拡張される方法を考察しました。

arXiv:2510.24058v3 Announce Type: replace-cross Abstract: Multi-sensory systems for embodied intelligence, from wearable body-sensor networks to instrumented robotic platforms, routinely face a sensor-asymmetry problem: the richest modality available during laboratory data collection is absent or impractical at deployment time due to cost, fragility, or interference with physical interaction. We introduce PULSE, a general framework for privileged knowledge transfer from an information-rich teacher sensor to a set of cheaper, deployment-ready student sensors. Each student encoder produces shared (modality-invariant) and private (modality-specific) embeddings; the shared subspace is aligned across modalities and then matched to representations of a frozen teacher via multi-layer hidden-state and pooled-embedding distillation. Private embeddings preserve modality-specific structure needed for self-supervised reconstruction, which we show is critical to prevent representational collapse. We instantiate PULSE on the wearable stress-monitoring task, using electrodermal activity (EDA) as the privileged teacher and ECG, BVP, accelerometry, and temperature as students. On the WESAD benchmark under leave-one-subject-out evaluation, PULSE achieves 0.994 AUROC and 0.988 AUPRC (0.965/0.955 on STRESS) without EDA at inference, exceeding all no-EDA baselines and matching the performance of a full-sensor model that retains EDA at test time. We further demonstrate modality-agnostic transfer with ECG as teacher, provide extensive ablations on hidden-state matching depth, shared-private capacity, hinge-loss margin, fusion strategy, and modality dropout, and discuss how the framework generalizes to broader embodied sensing scenarios involving tactile, inertial, and bioelectrical modalities.