南アフリカにおける結核ケア用のドメイン固有型大型言語モデルの開発および事前評価

arXiv:2604.19776v1 発表種別：クロス 要旨：結核（TB）は世界的に最も致死率の高い感染性疾病の一つであり、南アフリカでは国の医療システムに重大な負担をかけます。この論文では、患者および医療提供者の負担を軽減する支援が可能となる、結核ケア用のドメイン固有型大型言語モデル（DS-LLM）の開発に関する実験的な研究を提示します。この実現に向け、現在の大型言語モデル（LLM）の開発戦略、特に医療分野におけるものについて、文献レビューを行いました。その後、南アフリカの結核ガイドライン、精選された結核関連文献、および既存のベンチマーク医療データセットからデータを収集しました。我々は、医学用大型言語モデル（BioMistral-7B）に対して Quantised Low-Rank Adaptation (QLoRA) アルゴリズムを用いて大型言語モデルのファインチューニングを実施し、GraphRAG を活用して検索拡張生成（Retrieval-Augmented Generation）を実装しました。開発された DS-LLM は、ベースの BioMistral-7B モデルおよび汎用型大型言語モデルに対して、自動評価指標と定量的評価点を組み合わせた評価手法を用いて評価されました。その結果、南アフリカにおける結核ケアにおいて、DS-LLM はベースモデルに対して文脈との整合性（事語、意味、知識）においてより高い性能を示したことが明らかになりました。

arXiv:2604.19776v1 Announce Type: cross Abstract: Tuberculosis (TB) is one of the world's deadliest infectious diseases, and in South Africa, it contributes a significant burden to the country's health care system. This paper presents an experimental study on the development of a domain-specific Large Language Model (DS-LLM) for TB care that can help to alleviate the burden on patients and healthcare providers. To achieve this, a literature review was conducted to understand current LLM development strategies, specifically in the medical domain. Thereafter, data were collected from South African TB guidelines, selected TB literature, and existing benchmark medical datasets. We performed LLM fine-tuning by using the Quantised Low-Rank Adaptation (QLoRA) algorithm on a medical LLM (BioMistral-7B), and also implemented Retrieval-Augmented Generation using GraphRAG. The developed DS-LLM was evaluated against the base BioMistral-7B model and a general-purpose LLM using a mix of automated metrics and quantitative ratings. The results show that the DS-LLM had better performance compared to the base model in terms of its contextual alignment (lexical, semantic, and knowledge) for TB care in South Africa.