RARe: 遠隔処理補助のリコメンド、インジェクションした例使用で

arXiv:2410.20088v2 出力種別：上書きクロス アブストラクト: 直接の入力を利用している解読モデルに対する「インジェクショントークン」の効果がよく研究されているが、エンコーダ型のみのモデルに対してその有用性は未だに十分検討されていない。私たちのチームは、特別な状況で「直感的例」を含めた「解読」タスクのためのインジェクト学習の特性について研究している。 我々が開発した「RARe」という手法は、似ている意味を持つ「直接クエリ・ドキュメントペア」を使って事前トレーニングされたモデルに微調整を行うことで知られます。これにより、リコメンド性能は、単純なターゲトクエリだけを元とした場合は2.72% nDCG上での利益が生じます。 また、RAReの設計的な特徴における直接・例の有効性についても分析を行い、これにより将来の研究に対する基礎を築きます。

arXiv:2410.20088v2 Announce Type: replace-cross Abstract: While in-context learning is well-studied with decoder-only language models (LLMs), its utility for encoder-only models remains underexplored. We study in-context learning for encoder-only models for text retrieval tasks. Can incorporating in-context examples (query-document pairs) to the target query enhance retriever performance? Our approach, RARe, finetunes a pre-trained model with in-context examples whose query is semantically similar to the target query. This approach achieves performance gains of up to +2.72% nDCG across open-domain retrieval datasets (BeIR, RAR-b) compared to using the target query only as an input. In particular, we find RARe exhibits stronger out-of-domain generalization compared to models using queries without in-context examples, similar to what is seen for in-context learning in LLMs. We further provide analysis on the design choices of in-context example augmentation for retrievers and lay the foundation for future work.