大規模言語モデルと小規模言語モデルのための連合共同調整フレームワーク

arXiv:2411.11707v3 Announce Type: replace-cross 要旨: 大規模言語モデル（LLM）をドメイン固有のタスクに適応させたり、ドメイン固有の知識を付与したりすることで、LLM の能力を最大限に活用できます。しかし、サーバー側の大規模言語モデルとクライアント側の小規模言語モデル（SLM）間の同時的双向強化において、まだ明確なギャップが存在します。これを解決するために、我々は、連合学習による共同調整を目的として設計された新しいパラメータ効率の良いフレームワーク、FedCoLLM を提案します。このアプローチは、サーバー側の大規模言語モデルの知識をクライアント側の SLM へ適応的に移転し、同時にクライアント側の大規模言語モデルをドメイン上の洞察で強化することを目的としています。FedCoLLM は軽量アแดプターと SLM を組み合わせて使用し、データプライバシーを尊重しつつ計算と通信のオーバーヘッドを最小限に抑えることで、サーバーとクライアント間の知識交換を可能にします。様々な公開されている大規模・小規模言語モデルを使用した NLP テキスト生成タスクの幅広い評価では、クライアント側の SLM が LLM の支援により顕著な性能向上を示したことが明らかになりました。同時に、FedCoLLM を使用して強化された LLM は、クライアント側のデータへの直接微調整と比較可能な性能を発揮しました。当社のコードは FATE オープンソースプロジェクトに貢献され、現在は https://github.com/FederatedAI/FATE-LLM/tree/main/python/fate_llm/algo/fedcollm で公開アクセス可能です。

arXiv:2411.11707v3 Announce Type: replace-cross Abstract: By adapting Large Language Models (LLMs) to domain-specific tasks or enriching them with domain-specific knowledge, we can fully harness the capabilities of LLMs. Nonetheless, a gap persists in achieving simultaneous mutual enhancement between the server's LLM and the downstream clients' Small Language Models (SLMs). To address this, we propose FedCoLLM, a novel and parameter-efficient federated framework designed for co-tuning LLMs and SLMs. This approach is aimed at adaptively transferring server-side LLMs knowledge to clients' SLMs while simultaneously enriching the LLMs with domain insights from the clients. To accomplish this, FedCoLLM utilizes lightweight adapters in conjunction with SLMs, facilitating knowledge exchange between server and clients in a manner that respects data privacy while also minimizing computational and communication overhead. Our evaluation of FedCoLLM, utilizing various public LLMs and SLMs across a range of NLP text generation tasks, reveals that the performance of clients' SLMs experiences notable improvements with the assistance of the LLMs. Simultaneously, the LLMs enhanced via FedCoLLM achieves comparable performance to that obtained through direct fine-tuning on clients' data. Our code has been contributed to the FATE open-source project and is now publicly accessible at https://github.com/FederatedAI/FATE-LLM/tree/main/python/fate_llm/algo/fedcollm.