MemFly: Information Bottleneck によるオン・ザ・フライメモリ最適化

arXiv:2602.07885v1 Announce Type: cross 要約：長期記憶は、言語モデルエージェントが歴史的相互作用を通じて複雑なタスクに取り組むことを可能にしますが、既存のフレームワークでは、不要な情報を効率的に圧縮し、ダウンストリームのタスクに対して正確な検索を維持するという基本的なジレンマに直面しています。このギャップを埋めるために、MemFly という、情報ボトルネックの原理に基づいたアプローチを提案しました。このフレームワークは、LLM のオン・ザ・フライメモリ進化を促進します。私たちの手法は、勾配フリーの最適化器を通じて圧縮エンタロピーを最小化し、関連性エンタロピーを最大化し、効率的なストレージのための階層化されたメモリ構造を構築します。MemFly の効果を最大限に引き出すために、私たちは семантик（意味的）、記号的、トポロジカルな経路を統合し、反復微調整を含むハイブリッド検索機構を開発しました。これは、複雑なマルチホップクエリを処理するために不可欠です。包括的な実験は、MemFly が、メモリの一貫性、レスポンスの忠実度、そして精度において、最先端の基準を大幅に上回ることを示しています。

arXiv:2602.07885v1 Announce Type: cross Abstract: Long-term memory enables large language model agents to tackle complex tasks through historical interactions. However, existing frameworks encounter a fundamental dilemma between compressing redundant information efficiently and maintaining precise retrieval for downstream tasks. To bridge this gap, we propose MemFly, a framework grounded in information bottleneck principles that facilitates on-the-fly memory evolution for LLMs. Our approach minimizes compression entropy while maximizing relevance entropy via a gradient-free optimizer, constructing a stratified memory structure for efficient storage. To fully leverage MemFly, we develop a hybrid retrieval mechanism that seamlessly integrates semantic, symbolic, and topological pathways, incorporating iterative refinement to handle complex multi-hop queries. Comprehensive experiments demonstrate that MemFly substantially outperforms state-of-the-art baselines in memory coherence, response fidelity, and accuracy.