EngramaBench: 構造化されたグラフ検索による長期対話記憶の評価

arXiv:2604.21229v1 Announce Type: cross アブストラクト：大規模言語モデルのアシスタントは、多会的に蓄積された情報を持続化し、推理することをさらに期待されています。本研究では、ファクトリカル・リコール（構造化されたグラフ検索）、クロススペース統合、時間的推理、対抗的放棄（adversarial abstention）、そして発生的合成（emergent synthesis）を含む 5 つのキャラクター、100 回の多会的対話、150 件のクエリに囲まれた長期対話記憶のベンチマーク、EngramaBench を導入しました。Engrammar（構造化された記憶システム）を GPT-4o フルコンテキストプロンプティングと、オープンソースのベクトル検索記憶システム Mem0 と比較評価しました。全てのシステムは同じ応答モデル（GPT-4o）を使用しており、記憶アーキテクチャの影響を特定しました。GPT-4o フルコンテキストプロンプティングが最も高い総合スコア（0.6186）を達成しましたが、Engrammar はグローバルに 0.5367 のスコアを達成したものの、クロススペース推理においてのみフルコンテキストプロンプティングよりも高いスコア（0.6532 vs. 0.6291、n=30）を達成した唯一のシステムです。Mem0 は安価ですが、大幅に弱く（0.4809）です。アブレーション分析により、Engrammar のクロススペースの優位性を駆動するコンポーネントはグローバルな総合スコアとトレードオフの関係にあることが明らかになりました。これは、構造化記憶の専門性とaggregate（集計）最適化とのシステムレベルの緊張を暴露しています。

arXiv:2604.21229v1 Announce Type: cross Abstract: Large language model assistants are increasingly expected to retain and reason over information accumulated across many sessions. We introduce EngramaBench, a benchmark for long-term conversational memory built around five personas, one hundred multi-session conversations, and one hundred fifty queries spanning factual recall, cross-space integration, temporal reasoning, adversarial abstention, and emergent synthesis. We evaluate Engrama, a graph-structured memory system, against GPT-4o full-context prompting and Mem0, an open-source vector-retrieval memory system. All three use the same answering model (GPT-4o), isolating the effect of memory architecture. GPT-4o full-context achieves the highest composite score (0.6186), while Engrama scores 0.5367 globally but is the only system to score higher than full-context prompting on cross-space reasoning (0.6532 vs. 0.6291, n=30). Mem0 is cheapest but substantially weaker (0.4809). Ablations reveal that the components driving Engrama's cross-space advantage trade off against global composite score, exposing a systems-level tension between structured memory specialization and aggregate optimization.