Deep FinResearch Bench: AI による専門的金融投資研究の実施能力を検証する

arXiv:2604.21006v1 Announce Type: new 本文書では、金融投資研究におけるディープリサーチ (DR) エージェントの汎用かつ包括的な評価枠組みとして、Deep FinResearch Bench を提案する。本ベンチマークは、レポートの質に関する以下の 3 つの次元を検証する：1) 論理的厳密性、2) 定量的予測および評価精度、3) 主張の信頼性と検証可能性。特に、対応する定性および定量的評価指標を定義し、スケーラブルな評価を可能にする自動採点手順を実装した。先端的 DR エージェントが作成した金融レポートと、金融専門家によるレポートと比較を行ったところ、AI 生成レポートはこれらのすべての次元でまだ不十分であることがわかった。これらの知見は、金融分野に特化した DR エージェントの必要性を強調しており、金融研究における DR エージェントの標準化されたベンチマーク建立の基礎となることを希望している。

arXiv:2604.21006v1 Announce Type: new Abstract: We introduce Deep FinResearch Bench, a practical and comprehensive evaluation framework for deep research (DR) agents in financial investment research. The benchmark assesses three dimensions of report quality: qualitative rigor, quantitative forecasting and valuation accuracy, and claim credibility and verifiability. Particularly, we define corresponding qualitative and quantitative evaluation metrics and implement an automated scoring procedure to enable scalable assessment. Applying the benchmark to financial reports from frontier DR agents and comparing them with reports authored by financial professionals, we find that AI-generated reports still fall short across these dimensions. These findings underscore the need for domain-specialized DR agents tailored to finance, and we hope the work establishes a foundation for standardized benchmarking of DR agents in financial research.