継続的ドメイン進化を支援するためのオンラインドメイン認識型 LLM 推論

arXiv:2602.08088v1 発表タイプ: 新規 要約：LLM は通常、ドメイン固有データをオフラインで微調整することでトレーニングされますが、その前提としたドメインは静的であると仮定されています。実際には、新しい規制、製品、サービス、および相互作用のパターンを通じてドメイン知識は継続的に進化しています。すべての新しいインスタンスのために LLM を再トレーニングまたは微調整することは計算資源的に不可行です。さらに、現実世界の環境はデータ分布の変化とともに時間的な動的挙動を示します。この現象を無視することは、通常概念ドリフト（concept drift）と称されますが、モデルの予測精度を大幅に低下させます。進化し続けるドメインと静的な適応パイプラインとの間に生じるこの不整合は、高価な再トレーニングなしで効率的かつリアルタイムでの適応を行う必要性を浮き彫りにしています。これに応えて、オンのドメイン認識型デコーディング（ODD）フレームワークを提案します。ODD は、適応的自信調節を使用し、不一致と連続性のシグナルをガイドとして、ベース LLM とプレフィックスツリー事前知識の間で確率レベルでの融合を行います。多様なドリフトシナリオ下での経験的評価は、ODD のすべての構文および意味論的な NLG メトリクスにおいて LLM-Greedy および LLM-Temp Scaled を一貫して凌駕することを示しています。最良の基準と比較して、絶対的な ROUGE-L 獲得が 0.065、Cosine Similarity の相対改善が 13.6% となりました。これらの結果は、ODD の進化し続ける文字列および文脈パターンに対する堅牢性を示し、動的 LLM アプリケーションに適していることを示唆しています。

arXiv:2602.08088v1 Announce Type: new Abstract: LLMs are typically fine-tuned offline on domain-specific data, assuming a static domain. In practice, domain knowledge evolves continuously through new regulations, products, services, and interaction patterns. Retraining or fine-tuning LLMs for every new instance is computationally infeasible. Additionally, real-world environments also exhibit temporal dynamics with shifting data distributions. Disregarding this phenomenon, commonly referred to as concept drift, can significantly diminish a model's predictive accuracy. This mismatch between evolving domains and static adaptation pipelines highlights the need for efficient, real-time adaptation without costly retraining. In response, we introduce Online Domain-aware Decoding framework (ODD). ODD performs probability-level fusion between a base LLM and a prefix-tree prior, guided by adaptive confidence modulation using disagreement and continuity signals. Empirical evaluation under diverse drift scenarios demonstrates that ODD consistently surpasses LLM-Greedy and LLM-Temp Scaled across all syntactic and semantic NLG metrics. It yields an absolute ROUGE-L gain of 0.065 and a 13.6% relative improvement in Cosine Similarity over the best baseline. These results demonstrate ODD 's robustness to evolving lexical and contextual patterns, making it suitable for dynamic LLM applications.