Fine-R1: Chain-of-Thought 推論を用いたマルチモーダル LLM の微細な視覚認識における卓越性の向上

arXiv:2602.07605v1 Announce Type: new 要旨：視覚世界内の任意のエントリティーは、共有された特性に基づき階層的にグループ化され、微細なサブカテゴリーにマップされる。マルチモーダル大規模言語モデル (MLLM) は粗粒度の視覚タスクで高い性能を示すが、微細な視覚認識 (FGVR) ではしばしば困難を覚える。汎用 MLLM を FGVR に適応させるためには、入手が高価である大量のアノテート付きデータが必要となり、目的のためのコントラスティブ CLIP モデルと比較して大きな性能ギャップを招く。さらに、MLLM は既知のサブカテゴリーに対して過学習を促し、未知のものへの汎化能力に欠ける。これらの課題に対処するため、我々は FGVR に特化した MLLM を提案する。これは R1 風のトレーニングフレームワークに基づき、(1) チェーン・オブ・スコープ (CoT) 上付き微調整、その場で "視覚分析、候補サブカテゴリー、比較、予測" の理屈を含む高品質な FGVR CoT データセットを構築し、強力なオープンワールド分類器へとモデルを変遷させる、および (2) 三元セット付加ポリシー最適化、これにより同カテゴリ内のアンカー画像とポジティブ画像の軌道が内側クラス付加で混成され内側クラスバリアンスへの強固さが増す、かつサブカテゴリー間での画像に条件付けられたレスポンスの区分が最大化される間側クラス付加で識別性の向上が図られる。4 ショットのトレーニングのみで、Fine-R1 は既存の汎用 MLLM、推論 MLLM、さらにはコントラスティブ CLIP モデルを上回り、既知および未知のサブカテゴリーの識別において優れ、全てのサブカテゴリーの専門家アノテーションを集めるのが困難な知識集積的な分野での機能性を示す。コードは https://github.com/PKU-ICST-MIPL/FineR1_ICLR2026 で入手可能です。

arXiv:2602.07605v1 Announce Type: new Abstract: Any entity in the visual world can be hierarchically grouped based on shared characteristics and mapped to fine-grained sub-categories. While Multi-modal Large Language Models (MLLMs) achieve strong performance on coarse-grained visual tasks, they often struggle with Fine-Grained Visual Recognition (FGVR). Adapting general-purpose MLLMs to FGVR typically requires large amounts of annotated data, which is costly to obtain, leaving a substantial performance gap compared to contrastive CLIP models dedicated for discriminative tasks. Moreover, MLLMs tend to overfit to seen sub-categories and generalize poorly to unseen ones. To address these challenges, we propose Fine-R1, an MLLM tailored for FGVR through an R1-style training framework: (1) Chain-of-Thought Supervised Fine-tuning, where we construct a high-quality FGVR CoT dataset with rationales of "visual analysis, candidate sub-categories, comparison, and prediction", transition the model into a strong open-world classifier; and (2) Triplet Augmented Policy Optimization, where Intra-class Augmentation mixes trajectories from anchor and positive images within the same category to improve robustness to intra-class variance, while Inter-class Augmentation maximizes the response distinction conditioned on images across sub-categories to enhance discriminative ability. With only 4-shot training, Fine-R1 outperforms existing general MLLMs, reasoning MLLMs, and even contrastive CLIP models in identifying both seen and unseen sub-categories, showing promise in working in knowledge-intensive domains where gathering expert annotations for all sub-categories is arduous. Code is available at https://github.com/PKU-ICST-MIPL/FineR1_ICLR2026.