양자 표현을 이용한 저-SNR 금융 강화 학습에서의 편향 완화

Mitigating Bias in Low-SNR Financial Reinforcement Learning via Quantum Representations

금융 시장은 일반적으로 신호 대 잡음비(SNR)가 낮은 환경으로, 이는 Soft Actor-Critic (SAC)과 같은 오프라인 최대 엔트로피 방법의 안정성을 저해할 수 있습니다. 특히, 노이즈가 많은 상태 표현은 신뢰할 수 없는 Q 값 추정치를 생성하며, 부트스트래핑 과정에서 이러한 오류가 증폭되어 “금융 엔트로피 함정”이라는 실패 모드를 형성합니다. 본 논문에서는 액터 및 크리틱 네트워크 앞에 간결하고 경계가 설정된 매개변수화된 양자 회로(PQC)를 배치하여, 입력 데이터 필터링이나 부트스트래핑 후의 Q 값 정규화 대신 표현 수준에서 특징 전파를 제한하는 효율적이고 쉽게 적용 가능한 SAC 변형 모델인 FPQC-SAC를 제안합니다. 주목할 점은 FPQC-SAC가 벨만 목표 추정 시 극심한 시장 변동의 영향을 줄이는 동시에, 학습 가능한 양자 얽힘을 통해 유연한 교차 자산 상호 작용을 유지한다는 것입니다. 실제 포트폴리오 관리 작업에 대한 실험 결과는 FPQC-SAC가 표준 SAC 모델보다 66.89% 더 높은 누적 수익률을 달성하여, 통계적으로 의미 있는 성능 향상을 보여주며, 최첨단 연속 제어 강화 학습 기준 모델보다 약 27% 더 우수한 성능을 나타냄을 입증합니다. 오픈 소스 코드는 https://github.com/ZeyuLIU-UST/FPQC-SAC-main 에서 확인할 수 있습니다.

The financial market is a typical low signal-to-noise ratio (SNR) setting, which often destabilizes off-policy maximum-entropy methods like Soft Actor-Critic (SAC). Specifically, noisy state representations may produce unreliable Q-value estimates, and bootstrapping amplifies these errors, forming a failure mode we call the "Financial Entropy Trap". In this paper, we propose FPQC-SAC, an efficient and plug-and-play SAC variant that places a compact and bounded Parameterized Quantum Circuit (PQC) before the actor and critic networks to constrain feature propagation at the representation level, rather than filtering raw inputs or regularizing Q-values after bootstrapping. Notably, FPQC-SAC reduces the impact of extreme market fluctuations on Bellman target estimation, while trainable quantum entanglement preserves flexible cross-asset interactions. Empirical evaluations on real-world portfolio management tasks demonstrate that FPQC-SAC substantially enhances out-of-sample stability and cumulative returns by achieving a 66.89% relative gain in cumulative return over standard unconstrained SAC and outperforms the best continuous-control deep reinforcement learning baseline by approximately 27%. Open-source code is available at https://github.com/ZeyuLIU-UST/FPQC-SAC-main.