V-tableR1: 批評家導向政策最適化によるプロセス監視型マルチモーダルテーブル推論

arXiv:2604.20755v1 発表 タイプ：クロス 抽象: 私たちは、マルチモーダル大規模言語モデル（MLLM）から厳密かつ検証可能な推論を引き出すための、プロセス監視型強化学習フレームワークである V-tableR1 を導入しました。現在、最終結果のみでトレーニングされた MLLMs は、可視化推論をブラックボックスとして扱い、表面的なパターンマッチングに頼り、厳密な多段階推論を実行していません。検証可能な報酬付き強化学習（VRL）が透明な推論経路を強制できる可能性がある一方で、それを視覚分野に拡張するには、抽象的な論理を連続したピクセル空間にアンカー付けする曖昧さが重大な障壁となっており、これを解決するのが極めて困難でした。私たちは、テーブルの確定的なグリッド構造を理想的な視覚的テストベッドとして活用することでこの課題を解決しました。V-tableR1 は、政策 VLM が生成した明示的な視覚的チェーン・オブ・ Thought に高密度のステップレベルフィードバックを提供する、専門的な批評子 VLM を採用しています。このシステムを最適化するために、私たちが提案したプロセス・ガイド付き直接アライメント政策最適化（PGPO）は、プロセス報酬、解耦された政策制約、そして長さ認識ダイナミックサンプリングを統合する新たな RL アルゴリズムです。大規模な評価结果显示、V-tableR1 は視覚的な幻覚とショートカット推測を明示的に罰することを示しました。マルチモーダル推論をブラックボックスなパターンマッチングから検証可能な論理的導出へと根本的に転換させることで、V-tableR1 4B は複雑なテーブルベンチマークにおいてオープンソースモデル間で最上級精度を確立し、規模が最大 18 倍も大きいモデルを上回るとともに、その SFT ベースラインを大幅に改善しました。

arXiv:2604.20755v1 Announce Type: cross Abstract: We introduce V-tableR1, a process-supervised reinforcement learning framework that elicits rigorous, verifiable reasoning from multimodal large language models (MLLMs). Current MLLMs trained solely on final outcomes often treat visual reasoning as a black box, relying on superficial pattern matching rather than performing rigorous multi-step inference. While Reinforcement Learning with Verifiable Rewards could enforce transparent reasoning trajectories, extending it to visual domains remains severely hindered by the ambiguity of grounding abstract logic into continuous pixel space. We solve this by leveraging the deterministic grid structure of tables as an ideal visual testbed. V-tableR1 employs a specialized critic VLM to provide dense, step-level feedback on the explicit visual chain-of-thought generated by a policy VLM. To optimize this system, we propose Process-Guided Direct Alignment Policy Optimization (PGPO), a novel RL algorithm integrating process rewards, decoupled policy constraints, and length-aware dynamic sampling. Extensive evaluations demonstrate that V-tableR1 explicitly penalizes visual hallucinations and shortcut guessing. By fundamentally shifting multimodal inference from black-box pattern matching to verifiable logical derivation, V-tableR1 4B establishes state-of-the-art accuracy among open-source models on complex tabular benchmarks, outperforming models up to 18x its size and improving over its SFT baseline