LLMの事前処理をカーボンレベラーに委ねるためのエラー-デライネーティブ取引

Large language models（LLMs）は、スマートなモバイルシグナル提供が期待できますが、リソース制限の設備で計算的重負がかかります。モバイルエッジコンピューティング（MEC）はそのようなデバイスがエッジサーバー（ESs）にインファーザツタスクをオフロードするのを許可します、それが通信とサーバサイドのプールリングによる遅延を与えるかもしれませんが、特にマルチユーザー環境の場合です。この仕事では、トークンレベルの不確実性に関する懸念に気付くオーディフレーダウンフレームワークを提案し、Leverageトークンレベルの不确定測定のメトリックによる決定を行うことによって、インセンス内の推論が行われるかESにオフロードするかをリソース制限に基づきます。我々は新しい割り当てられたgreedy offloading algorithmを設計GOA）です、デライネーティブと精度を維持しながら遅延を最小限に留めます。我々の実験では、GOAはベースライン戦略に対する高い程度で、エラーとデライネーティブが変化するユーザ密度に従って有利なトレードオフが達成されています、そして計算時間を経た後です。これらの結果はGOAの効果的かつスケールアップのソリューションの明確で高い証拠を提供することにより、MEC環境でのLLMの推論について。

arXiv:2602.07958v1 Announce Type: cross Abstract: Large language models (LLMs) offer significant potential for intelligent mobile services but are computationally intensive for resource-constrained devices. Mobile edge computing (MEC) allows such devices to offload inference tasks to edge servers (ESs), yet introduces latency due to communication and serverside queuing, especially in multi-user environments. In this work, we propose an uncertainty-aware offloading framework that dynamically decides whether to perform inference locally or offload it to the ES, based on token-level uncertainty and resource constraints. We define a margin-based token-level uncertainty metric and demonstrate its correlation with model accuracy. Leveraging this metric, we design a greedy offloading algorithm (GOA) that minimizes delay while maintaining accuracy by prioritizing offloading for highuncertainty queries. Our experiments show that GOA consistently achieves a favorable trade-off, outperforming baseline strategies in both accuracy and latency across varying user densities, and operates with practical computation time. These results establish GOA as a scalable and effective solution for LLM inference in MEC environments.