M3R：気象情報に基づくマルチモーダル注意力機構を備えた局所降雨予報

arXiv:2604.15377v1 発表タイプ：クロス 要約：正確でタイムリーな降雨の即時予報は、災害減災と水資源管理において不可欠である。近年の深層学習の進展にもかかわらず、多様なマルチメディアデータソースを効果的に活用する限界により、降降水予測は依然として困難を極めている。我々は、可視化 NEXRAD レーザーイメージと数値的個人気象局 (PWS) 測定を相補的に統合し、異種気象データの時間的並列を包括的パイプラインで行う、気象情報に基づいたマルチモーダル注意力機構を備えた直接降雨予測アーキテクチャ、M3R を導入した。専門的多モーダル注意力機構により、M3R は気象局の時系列データをクエリとして活用し、空間的なレーザー特徴に選択的に注目することで、降水の特徴を効果的に抽出することを可能にした。NEXRAD レーザーレーダー駅を中心とした 100 km * 100 km の 3 つの空間領域における実験結果は、M3R が既存のアプローチを超えており、精度、効率、および降水検出能力において著しい改善をもたらしたことを示している。我々の作業は、マルチメディアに基づく降水の即時予報のための新たなベンチマークを確立し、実用的な天気予報システムの運用ツールを提供する。ソースコードは https://github.com/Sanjeev97/M3Rain で利用可能である。

arXiv:2604.15377v1 Announce Type: cross Abstract: Accurate and timely rainfall nowcasting is crucial for disaster mitigation and water resource management. Despite recent advances in deep learning, precipitation prediction remains challenging due to limitations in effectively leveraging diverse multimedia data sources. We introduce M3R, a Meteorology-informed MultiModal attention-based architecture for direct Rainfall prediction that synergistically combines visual NEXRAD radar imagery with numerical Personal Weather Station (PWS) measurements, using a comprehensive pipeline for temporal alignment of heterogeneous meteorological data. With specialized multimodal attention mechanisms, M3R novelly leverages weather station time series as queries to selectively attend to spatial radar features, enabling focused extraction of precipitation signatures. Experimental results for three spatial areas of 100 km * 100 km centered at NEXRAD radar stations demonstrate that M3R outperforms existing approaches, achieving substantial improvements in accuracy, efficiency, and precipitation detection capabilities. Our work establishes new benchmarks for multimedia-based precipitation nowcasting and provides practical tools for operational weather prediction systems. The source code is available at https://github.com/Sanjeev97/M3Rain