FinVerse: 금융 시계열 벤치마크

FinVerse: Financial Time-Series Benchmark

시계열 기반 모델이 등장하면서, 이러한 모델들의 예측 능력을 의미 있는 방식으로 평가할 수 있는 벤치마크의 필요성이 점점 더 중요해지고 있습니다. 기존의 시계열 예측 벤치마크는 유용한 표준화된 비교를 제공하지만, 종종 이질적인 데이터셋을 균일한 오류 기반 지표로 평가합니다. 이러한 지표에서 높은 성능을 보이는 모델이 반드시 모든 분야에서 최상의 실질적인 의사 결정을 지원하는 예측 결과를 제공한다고 단정할 수는 없습니다. 예를 들어, 주가 예측의 경우, 가격이 상승 또는 하락할지 정확하게 예측하는 것이 단순히 점별 예측 오류를 최소화하는 것보다 실제 수익과 더 직접적으로 관련될 수 있습니다. 이에 따라, 우리는 보다 현실적인 평가를 위한 첫걸음을 내딛는 금융 분야 시계열 예측 벤치마크인 FinVerse를 소개합니다. 공개된 FinVerse 데이터셋은 116,897개의 금융 시계열 데이터를 포함하며, 이 중 60,232개의 시계열(1740만 건의 관측값)이 경제적 관련성을 기준으로 평가 대상 데이터로 선정되었습니다. 일반적인 예측 벤치마크가 주로 균일한 점 예측 또는 확률 정확도를 강조하는 반면, FinVerse는 78개의 평가 지표를 포함하는 11개의 지표군을 정의하고, 각 시계열의 근본적인 경제적 의미에 따라 가장 적절한 평가 지표를 할당합니다. 공개된 43개의 시계열 예측 기반 모델 분석 결과, 일반적인 예측 기준에서 높은 성능을 보이는 모델이 반드시 유용한 금융 예측 결과를 제공하는 것은 아니라는 점이 밝혀졌습니다. 이러한 발견은 실제 의사 결정과 더 가까운 목표 하에 모델을 평가하는 도메인 특화 벤치마크의 필요성을 강조합니다.

As time-series foundation models have emerged, the need for benchmarks that can evaluate their forecasting ability in meaningful ways has become increasingly important. Existing time-series forecasting benchmarks provide useful standardized comparisons, but they often evaluate heterogeneous series with uniform error-based metrics. Strong performance under such metrics does not necessarily imply that a model's forecasts will support the best real-world decisions across domains. For example, in stock forecasting, correctly predicting whether a price will rise or fall can be more directly relevant to realized returns than minimizing point-wise forecast error alone. To this end, we introduce FinVerse, a finance-domain time-series forecasting benchmark that takes a first step toward more realistic evaluation. The released FinVerse data artifact contains 116,897 financial time series with 171.1M observations, of which 60,232 series with 17.4M observations are selected as evaluated targets based on their economic relevance to financial decisions. Unlike generic forecasting benchmarks that primarily emphasize uniform point-forecast or probabilistic accuracy, FinVerse defines 11 metric families comprising 78 evaluation metrics and assigns the most appropriate evaluation metrics to each individual time series based on its underlying economic meaning. Our analysis of 43 public time-series forecasting foundation models shows that strong performance under generic forecasting criteria does not necessarily translate into useful financial forecasts. This finding highlights the need for domain-aware benchmarks that evaluate models under objectives closer to real-world decision making.