カメラを使わずに NeRF は見ることができますか？

arXiv:2505.22441v3 発表 タイプ：置換 要約：神経放射領域（NeRFs）は、ボリュームscene関数を最適化することで、3Dシーンの新規ビューの合成に驚くほど成功しています。このscene関数は、3Dオブジェクトからカメラピクセルへカラー情報を伝える光学的レイの仕組みをモデル化します。電波（RF）や音声信号も、環境情報をセンサへ搬送するための手段と見なせます。ただし、カメラピクセルとは異なり、RF/音声センサは多数の環境反射（「マルチパス」とも呼ばれます）を含む信号の混合を受信します。このようなマルチパス信号を用いて環境を推定できるでしょうか。我々は、再設計により NeRF がマルチパス信号から学習できるようにでき、これにより環境を「見る」ことが可能であると示しています。応用例として、複数の地点でのスparserなWiFi測定データを用いて家の室内レイアウトを推定することを目指します。これは困難な逆問題ですが、我々の明示的に学習されたレイアウトは有望な結果を示しており、室内信号予測や基本的なレイ・トレーシングなどの前向きな応用を可能にしています。

arXiv:2505.22441v3 Announce Type: replace Abstract: Neural Radiance Fields (NeRFs) have been remarkably successful at synthesizing novel views of 3D scenes by optimizing a volumetric scene function. This scene function models how optical rays bring color information from a 3D object to the camera pixels. Radio frequency (RF) or audio signals can also be viewed as a vehicle for delivering information about the environment to a sensor. However, unlike camera pixels, an RF/audio sensor receives a mixture of signals that contain many environmental reflections (also called "multipath"). Is it still possible to infer the environment using such multipath signals? We show that with redesign, NeRFs can be taught to learn from multipath signals, and thereby "see" the environment. As a grounding application, we aim to infer the indoor floorplan of a home from sparse WiFi measurements made at multiple locations inside the home. Although a difficult inverse problem, our implicitly learnt floorplans look promising, and enables forward applications, such as indoor signal prediction and basic ray tracing.