SSFT: 汎用的ハイパースペクトル分類のための軽量スペクトル・空間融合トラン스포マー

arXiv:2604.15828v1 発表 タイプ：新規 摘要: ハイパースペクトルイメージングは、豊富なスペクトルシグネチャを取得することで材料の微細な認識を可能にしますが、高い次元性、スペクトル冗余、ラベル付きデータの不足、および強いドメインシフトに起因して頑健な分類器の学習は困難です。地球観測だけでなく、ラベル付き HSI データは一般的に希薄で不均衡であり、多様な取得制度にわたる汎用的なハイパースペクトル分類のためのコンパクトなモデルを促しています。本研究では、スペクトルと空間を因子化した学習アプローチを取り、クロスアテンションにより補完的な波長依存性と構造的情報を捉える軽量スペクトル・空間融合トラン스포マー（SSFT）を提案しました。我々は、SSFT を地球観測、果実の状態評価、微細な材料認識を含む多様なデータセットを被る HSI-Benchmark という課題の多集合ベンチマークで評価しました。SSFT は最上位の全体の性能を示し、先駆的な最上位手法のパラメータ数の 2% 未満でトップランクを獲得しました。また、公式プロトコルによる大幅に大きい SpectralEarth ベンチマークへの転移も評価し、SSFT はコンパクトなサイズにもかかわらず競争力を維持しました。消融実験では、スペクトルと空間の両方のパスウェイが不可欠であることが示され、空間モデルが最も寄与しており、データ増強なしで SSFT が依然として頑健であることが確認されました。

arXiv:2604.15828v1 Announce Type: new Abstract: Hyperspectral imaging enables fine-grained recognition of materials by capturing rich spectral signatures, but learning robust classifiers is challenging due to high dimensionality, spectral redundancy, limited labeled data, and strong domain shifts. Beyond earth observation, labeled HSI data is often scarce and imbalanced, motivating compact models for generic hyperspectral classification across diverse acquisition regimes. We propose the lightweight Spectral-Spatial Fusion Transformer (SSFT), which factorizes representation learning into spectral and spatial pathways and integrates them via cross-attention to capture complementary wavelength-dependent and structural information. We evaluate our SSFT on the challenging HSI-Benchmark, a heterogeneous multi-dataset benchmark covering earth observation, fruit condition assessment, and fine-grained material recognition. SSFT achieves state-of-the-art overall performance, ranking first while using less than 2% of the parameters of the previous leading method. We further evaluate transfer to the substantially larger SpectralEarth benchmark under the official protocol, where SSFT remains competitive despite its compact size. Ablation studies show that both spectral and spatial pathways are crucial, with spatial modeling contributing most, and that SSFT remains robust without data augmentation.