補完生成トレーニングによるエージェントタスク性能向上

arXiv:2604.20727v1 発表 タイプ: 新しい内容 要約: エージェントタスク向けの大型基礎モデルのトレーニングは、高い計算コスト、長い反復サイクル、および新モデルの連続的なリリースによる迅速な陳腐化のため、ますます現実的ではありません。すべての新しいタスクやドメインに対して大規模なモデルをポストトレーニングする代わりに、より効率的で持続可能な戦略である補完生成トレーニング（SGT）を提案します。SGT は、より小さなおおきな言語モデル（LLM）をトレーニングし、それを元の入力に追加することで、大規模な LLM がタスクをより効果的に解決できるよう支援する有用な補完テキストを生成させます。これらの軽量モデルはタスク要件に応じて補完を動的に適応させ、基盤となる大規模モデルを変更することなく性能を向上させます。このアプローチは、タスク固有の最適化を大型基礎モデルから切り離し、LLM パワーエージェントを実世界アプリケーションに柔軟かつ費用効果的にデプロイすることを可能にします。

arXiv:2604.20727v1 Announce Type: new Abstract: Training large foundation models for agentic tasks is increasingly impractical due to the high computational costs, long iteration cycles, and rapid obsolescence as new models are continuously released. Instead of post-training massive models for every new task or domain, we propose Supplement Generation Training (SGT), a more efficient and sustainable strategy. SGT trains a smaller LLM to generate useful supplemental text that, when appended to the original input, helps the larger LLM solve the task more effectively. These lightweight models can dynamically adapt supplements to task requirements, improving performance without modifying the underlying large models. This approach decouples task-specific optimization from large foundation models and enables more flexible, cost-effective deployment of LLM-powered agents in real-world applications.