Deep FinResearch 벤치마크: 인공지능이 전문적인 금융 투자 연구를 수행하는 능력 평가

Deep FinResearch Bench: Evaluating AI's Ability to Conduct Professional Financial Investment Research

본 논문에서는 금융 투자 연구 분야의 딥 리서치(DR) 에이전트를 실용적이고 포괄적으로 평가할 수 있는 프레임워크인 Deep FinResearch 벤치마크를 소개합니다. 이 벤치마크는 보고서의 품질을 세 가지 측면, 즉 질적 엄격성, 정량적 예측 및 평가 정확성, 그리고 주장의 신뢰성과 검증 가능성으로 평가합니다. 특히, 각 측면에 대한 질적 및 정량적 평가 지표를 정의하고, 확장 가능한 평가를 가능하게 하는 자동 채점 절차를 구현했습니다. 최첨단 DR 에이전트에서 생성된 금융 보고서를 벤치마크에 적용하고, 금융 전문가가 작성한 보고서와 비교한 결과, 인공지능이 생성한 보고서는 여전히 이러한 모든 측면에서 부족하다는 것을 확인했습니다. 이러한 결과는 금융 분야에 특화된 DR 에이전트의 필요성을 강조하며, 본 연구가 금융 연구 분야의 DR 에이전트 표준 벤치마킹을 위한 기반을 마련하는 데 기여하기를 바랍니다.

We introduce Deep FinResearch Bench, a practical and comprehensive evaluation framework for deep research (DR) agents in financial investment research. The benchmark assesses three dimensions of report quality: qualitative rigor, quantitative forecasting and valuation accuracy, and claim credibility and verifiability. Particularly, we define corresponding qualitative and quantitative evaluation metrics and implement an automated scoring procedure to enable scalable assessment. Applying the benchmark to financial reports from frontier DR agents and comparing them with reports authored by financial professionals, we find that AI-generated reports still fall short across these dimensions. These findings underscore the need for domain-specialized DR agents tailored to finance, and we hope the work establishes a foundation for standardized benchmarking of DR agents in financial research.