事前学習済み大規模言語モデルと順序推測器の融合：リアルタイムでの効率的なユーザー中心知識蒸留

arXiv:2604.21536v1 Announce Type: cross 要約：順序推測システムは、ユーザーの時間的行動モデリングにおいて大きな成功を収めましたが、相互作用のパターンを超えた豊富なユーザーの意味（semantic）を捉えるにはまだ限られています。大規模言語モデル（LLM）には、その論理推論能力を通じてユーザー理解を強化する機会がありますが、既存の統合アプローチはリアルタイムでの推論コストを禁止的ものへと高めています。これらの限界に対処するため、われわれは、事前学習済み LLM で生成されたテキスト形式のユーザープロフィールを、サービス時に LLM 推論を必要とせず順序推測器に活用する、革新的な知識蒸留法を提示します。結果得られるアプローチは、従来の順序推測モデルと同じ推論効率を維持するとともに、アーキテクチャの変更や LLM のファインチューニングを必要としません。

arXiv:2604.21536v1 Announce Type: cross Abstract: Sequential recommender systems have achieved significant success in modeling temporal user behavior but remain limited in capturing rich user semantics beyond interaction patterns. Large Language Models (LLMs) present opportunities to enhance user understanding with their reasoning capabilities, yet existing integration approaches create prohibitive inference costs in real time. To address these limitations, we present a novel knowledge distillation method that utilizes textual user profile generated by pre-trained LLMs into sequential recommenders without requiring LLM inference at serving time. The resulting approach maintains the inference efficiency of traditional sequential models while requiring neither architectural modifications nor LLM fine-tuning.