TradeFM: 거래 흐름 및 시장 미시 구조를 위한 생성 기반 모델

TradeFM: A Generative Foundation Model for Trade-flow and Market Microstructure

기반 모델은 방대한 규모의 이질적인 데이터로부터 일반적인 표현을 학습하여 언어 처리에서부터 유전체학에 이르기까지 다양한 분야에 혁신을 가져왔습니다. 본 논문에서는 TradeFM을 소개합니다. TradeFM은 5억 2천 4백만 개의 파라미터를 가진 생성 트랜스포머 모델로, 시장 미시 구조에 적용되어 9,000개 이상의 주식에 대한 수십억 건의 거래 데이터를 직접 학습합니다. 교차 자산 일반화 능력을 향상시키기 위해, 우리는 다양한 모달의 주문 흐름 데이터를 통일된 이산 시퀀스로 매핑하는, 규모에 불변하는 특징과 범용 토큰화 방식을 개발했습니다. 이를 통해 자산별 특화된 조정 없이 모델을 사용할 수 있습니다. 결정론적 시장 시뮬레이터와 통합된 TradeFM은 재무 수익의 주요 특징을 재현하며, 여기에는 두꺼운 꼬리, 변동성 클러스터링, 그리고 수익 자기 상관관계의 부재가 포함됩니다. 정량적으로, TradeFM은 Compound Hawkes 기반 모델보다 2~3배 낮은 분포 오류를 달성하며, 지리적으로 다른 APAC 시장에서도 적절한 수준의 perplexity 감소와 함께 제로샷 일반화 능력을 보입니다. 이러한 결과는 규모에 불변하는 거래 표현이 시장 미시 구조에서 전이 가능한 구조를 포착하며, 이를 통해 합성 데이터 생성, 스트레스 테스트 및 학습 기반 거래 에이전트 개발에 기여할 수 있음을 시사합니다.

Foundation models have transformed domains from language to genomics by learning general-purpose representations from large-scale, heterogeneous data. We introduce TradeFM, a 524M-parameter generative Transformer that brings this paradigm to market microstructure, learning directly from billions of trade events across >9K equities. To enable cross-asset generalization, we develop scale-invariant features and a universal tokenization scheme that map the heterogeneous, multi-modal event stream of order flow into a unified discrete sequence -- eliminating asset-specific calibration. Integrated with a deterministic market simulator, TradeFM-generated rollouts reproduce key stylized facts of financial returns, including heavy tails, volatility clustering, and absence of return autocorrelation. Quantitatively, TradeFM achieves 2-3x lower distributional error than Compound Hawkes baselines and generalizes zero-shot to geographically out-of-distribution APAC markets with moderate perplexity degradation. Together, these results suggest that scale-invariant trade representations capture transferable structure in market microstructure, opening a path toward synthetic data generation, stress testing, and learning-based trading agents.