MM-Telco: 電気通信分野向けのベンチマークとマルチモーダル大規模言語モデル

arXiv:2511.13131v2 Announce Type: replace-cross 要約: 大規模言語モデル (LLM) は、複雑な論理思考および意思決定タスクを自動化する強力なツールとして登場しました。電気通信業界においては、ネットワーク最適化、トラブルシューティングの自動化、顧客サポートの向上、および規制準拠の保証に変革をもたらす可能性があります。しかし、これらの通信業界への展開は、専門的な適応を要求するドメイン固有の課題によって阻害されています。これらの課題を克服し、LLM の通信業界への適応を加速させるために、当研究では電気通信分野に特化したマルチモーダルベンチマークとモデルの一連である MM-Telco を提案します。このベンチマークは、ネットワーク運用、ネットワーク管理、ドキュメント品質の改善、そして関連するテキストと画像の検索など、実際的なリアルライフ使用ケースに対応する様々なタスク（テキストベースおよび画像ベースの両方）を導入しています。さらに、様々な LLM と VLM に対して基準実験を実施しました。私たちのデータセットでファインチューニングされたモデルは、性能の顕著な向上を示しました。また、当実験は現在の上流マルチモーダル LLM の動作の弱点の分析にも助けとなり、さらに開発と研究へのガイダンスを提供しています。

arXiv:2511.13131v2 Announce Type: replace-cross Abstract: Large Language Models (LLMs) have emerged as powerful tools for automating complex reasoning and decision-making tasks. In telecommunications, they hold the potential to transform network optimization, automate troubleshooting, enhance customer support, and ensure regulatory compliance. However, their deployment in telecom is hindered by domain-specific challenges that demand specialized adaptation. To overcome these challenges and to accelerate the adaptation of LLMs for telecom, we propose MM-Telco, a comprehensive suite of multimodal benchmarks and models tailored for the telecom domain. The benchmark introduces various tasks (both text based and image based) that address various practical real-life use cases such as network operations, network management, improving documentation quality, and retrieval of relevant text and images. Further, we perform baseline experiments with various LLMs and VLMs. The models fine-tuned on our dataset exhibit a significant boost in performance. Our experiments also help analyze the weak areas in the working of current state-of-art multimodal LLMs, thus guiding towards further development and research.