調製と再構築：非整列化されたスマートフォンの視野からハイ퍼스スペクトルイメージングを学習する

arXiv:2507.01835v3 発表型：置き換え 【摘要】RGB 画像からのハイ퍼스スペクトル再構築（HSR）は、劇的なスペクトル情報の損失によって根本的に逆問題であり、既存のアプローチは単一の RGB 画像に依存し、再構築精度の限界があります。本研究では、2 つのレンズに慎重に選択されたスペクトルフィルターを装備した三レンズカメラシステムを活用した、新しいマルチ画像からハイルスpectrum 再構築（MI-HSR）フレームワークを提案します。我々の構成は理論的および実証的分析に基づき、従来の単一カメラ設置よりも豊かで多様なスペクトル観測を可能にします。この新しいパラダイムを支えるために、我々は Doomer という、多様なシーンにおける 3 つのスマートフォンカメラとハイ퍼스pectrum 参照カメラからの整列画像を備えた、MI-HSR の最初のデータセットを導入します。提示された HSR モデルは、新たに提案されたベンチマーク上で既存の手法に一貫した改善をもたらすことを示しました。総括すると、我々の設定は通常の RGB カメラと比較してスペクトルのより正確な推定を 30% 向上させます。我々の知見は、商用ハードウェアを用いたマルチビュースペクトルフィルターリングが、より正確かつ実用的なハイプレスpectrum イメージングソリューションを解凍できることを示唆しています。

arXiv:2507.01835v3 Announce Type: replace Abstract: Hyperspectral reconstruction (HSR) from RGB images is a fundamentally ill-posed problem due to severe spectral information loss. Existing approaches typically rely on a single RGB image, limiting reconstruction accuracy. In this work, we propose a novel multi-image-to-hyperspectral reconstruction (MI-HSR) framework that leverages a triple-camera smartphone system, where two lenses are equipped with carefully selected spectral filters. Our configuration, grounded in theoretical and empirical analysis, enables richer and more diverse spectral observations than conventional single-camera setups. To support this new paradigm, we introduce Doomer, the first dataset for MI-HSR, comprising aligned images from three smartphone cameras and a hyperspectral reference camera across diverse scenes. We show that the proposed HSR model achieves consistent improvements over existing methods on the newly proposed benchmark. In a nutshell, our setup allows 30% towards more accurately estimated spectra compared to an ordinary RGB camera. Our findings suggest that multi-view spectral filtering with commodity hardware can unlock more accurate and practical hyperspectral imaging solutions.