DENALI: 低コスト LiDAR を利用した非直接視線空間推論を可能にするデータセット

arXiv:2604.16201v1 Announce Type: cross 要旨：モバイル機器およびロボットに搭載された消費向け LiDAR は、通常、各ピクセルについて単一の深度値のみを出力します。しかし、その内部では、直接反射と複数回反射を含む完全な時間解決済みヒストグラムが記録されており、これらの複数回反射は豊富な非直接視線（NLOS）クイークをエンコードし、シーンの隠れ物体の推知を可能にします。ただし、消費向け LiDAR の厳重なハードウェア制限のために、従来の手法による NLOS 再構築は困難です。本論文では、データ駆動型推論を用いて低コスト LiDAR で NLOS 推知を可能にするという補完的な方向を提案します。私たちは、低コスト LiDAR から隠れ物体を捉えた時空間ヒストグラムを備えた大規模な実世界データセット DENALI を提示します。我々は、多様な物体形状、位置、照明条件、および空間解像度を持つ 72,000 個の隠れ物体シーンの時間解決済み LiDAR ヒストグラムを収集しました。我々のデータセットを用いて、消費向け LiDAR が正確な、データ駆動型 NLOS 推知を可能にできることを示しました。さらに、我々は現在のシミュレーションから現実世界への転送を妨げるパフォーマンスを制限する重要なシーンの要因とモデルの要因、および現状のシミュレーションから現実世界への転送を阻害する精度差を特定し、消費向け LiDAR を用いたスケーラブルな NLOS 視点に未来の研究を動機付けます。

arXiv:2604.16201v1 Announce Type: cross Abstract: Consumer LiDARs in mobile devices and robots typically output a single depth value per pixel. Yet internally, they record full time-resolved histograms containing direct and multi-bounce light returns; these multi-bounce returns encode rich non-line-of-sight (NLOS) cues that can enable perception of hidden objects in a scene. However, severe hardware limitations of consumer LiDARs make NLOS reconstruction with conventional methods difficult. In this work, we motivate a complementary direction: enabling NLOS perception with low-cost LiDARs through data-driven inference. We present DENALI, the first large-scale real-world dataset of space-time histograms from low-cost LiDARs capturing hidden objects. We capture time-resolved LiDAR histograms for 72,000 hidden-object scenes across diverse object shapes, positions, lighting conditions, and spatial resolutions. Using our dataset, we show that consumer LiDARs can enable accurate, data-driven NLOS perception. We further identify key scene and modeling factors that limit performance, as well as simulation-fidelity gaps that hinder current sim-to-real transfer, motivating future work toward scalable NLOS vision with consumer LiDARs.