デュアルモーダル肺癌 AI：臨床リスクを統合した解釈可能な放射線画像と組織顕微鏡学

arXiv:2604.16104v1 Announce Type: cross 要旨：肺癌は世界中の癌関連死亡率の主要因の其中之一です。従来の計算断層法（CT）画像は検出と staging に不可欠ですが、良性から悪性病変を区別する点および解釈可能な診断知見を提供する点において限界があります。この課題に対処するため、本研究では CT 放射線画像とヘマトキシリンとエオシン（H&E）組織顕微鏡学を統合したデュアルモーダル人工知能フレームワークを提案します。このシステムは、卷积式ニューラルネットワーク（CNN）を使用して放射線画像特徴と組織顕微鏡学特徴を抽出し、臨床メタデータを組み込んで堅牢性を向上させます。両方のモーダルからの予測は、加重付き意思決定レベルの統合メカニズムを使用して融合され、腺癌、乳頭細胞癌、大細胞癌、小細胞肺癌および正常組織のカテゴリで分類されます。Grad-CAM、Grad-CAM++、統合勾配、オクリューション、サリエンシーマップ、および SmoothGrad などの説明可能な AI テクニックが適用され、可視的解釈性が提供されます。実験結果は、精度 0.87 以上、AUROC 0.97 以上、マクロ F1 スコア 0.88 であること、および Grad-CAM++ が最も忠実性と局所化精度を示したこと、そして専門家がannotate した腫瘍領域と強い対応を示すこと、を明らかにしています。これらの結果は、放射線画像と組織顕微鏡学のマルチモーダル融合が診断性能を向上させつつモデルの透明性を維持できることを示唆しており、これは精密がん科学における将来の臨床意思決定支援システムへの可能性を示唆します。

arXiv:2604.16104v1 Announce Type: cross Abstract: Lung cancer remains one of the leading causes of cancer-related mortality worldwide. Conventional computed tomography (CT) imaging, while essential for detection and staging, has limitations in distinguishing benign from malignant lesions and providing interpretable diagnostic insights. To address this challenge, this study proposes a dual-modal artificial intelligence framework that integrates CT radiology with hematoxylin and eosin (H&E) histopathology for lung cancer diagnosis and subtype classification. The system employs convolutional neural networks to extract radiologic and histopathologic features and incorporates clinical metadata to improve robustness. Predictions from both modalities are fused using a weighted decision-level integration mechanism to classify adenocarcinoma, squamous cell carcinoma, large cell carcinoma, small cell lung cancer, and normal tissue. Explainable AI techniques including Grad-CAM, Grad-CAM++, Integrated Gradients, Occlusion, Saliency Maps, and SmoothGrad are applied to provide visual interpretability. Experimental results show strong performance with accuracy up to 0.87, AUROC above 0.97, and macro F1-score of 0.88. Grad-CAM++ achieved the highest faithfulness and localization accuracy, demonstrating strong correspondence with expert-annotated tumor regions. These results indicate that multimodal fusion of radiology and histopathology can improve diagnostic performance while maintaining model transparency, suggesting potential for future clinical decision support systems in precision oncology.