양자 트랜스포머가 도움이 될까요? 테이블 형태의 벤치마크 데이터에 대한 다양한 양자 변분 회로 구조 비교 연구

Do Quantum Transformers Help? A Systematic VQC Architecture Comparison on Tabular Benchmarks

양자 변분 회로(VQCs)는 근접 미래의 장치에서 양자 머신러닝을 위한 주요 접근 방식이지만, 고전적인 테이블 형태의 데이터에서 어떤 회로 구조가 가장 우수한 정확도-파라미터 균형을 제공하는지는 아직 명확하지 않습니다. 본 연구에서는 5개의 회귀 및 분류 벤치마크 데이터셋을 사용하여 4가지 VQC 패밀리(다층 완전 연결(FC-VQC), 잔차(ResNet-VQC), 하이브리드 양자-고전 트랜스포머(QT), 완전 양자 트랜스포머(FQT))에 대한 체계적인 실증적 비교 연구를 수행했습니다. 주요 결과는 다음과 같습니다. **(i)** FC-VQC는 어텐션 기반 VQC의 $R^2$ 값의 90-96%를 달성하면서 파라미터 수를 40-50% 적게 사용하며, 동일 용량의 다층 퍼셉트론(MLP)보다 일관되게 우수한 성능을 보입니다 (보스턴 주택 데이터셋에서 평균 $R^2$ = 0.829, MLP$_{720}$의 경우 0.753, 3개의 시드 평균). **(ii)** FC-VQC의 Type 4 블록 간 연결은 토큰 간의 부분적인 상호 작용을 제공하여 어텐션의 역할을 부분적으로 대체하며, 명시적인 양자 셀프 어텐션은 대부분의 데이터셋에서 미미한 성능 향상만 제공하는 반면 파라미터 수를 크게 증가시킵니다. **(iii)** 표현력은 회로 깊이가 약 3일 때 포화되며, 이는 얕은 VQC가 이미 힐베르트 공간을 효과적으로 커버하는 이유를 설명합니다. **(iv)** 완전 양자 트랜스포머에 적용된 LayerNorm은 분류 정확도를 향상시키며, 이는 모든 연산이 양자인 경우 정규화가 중요하다는 것을 시사합니다. **(v)** 보스턴 주택 데이터셋에 대한 노이즈 연구에서, 완전 양자 트랜스포머는 디폴라링 노이즈 하에서도 안정적인 성능을 유지하는 반면, 하이브리드 양자-고전 트랜스포머는 급격하게 성능이 저하됩니다. 모든 결과는 3개의 무작위 시드를 통해 검증되었습니다. 본 연구의 결과는 근접 미래의 양자 하드웨어에 VQC를 배포하기 위한 실질적인 아키텍처 지침을 제공합니다.

Variational quantum circuits (VQCs) are a leading approach to quantum machine learning on near-term devices, yet it remains unclear which circuit architecture yields the best accuracy-parameter trade-off on classical tabular data. We present a systematic empirical comparison of four VQC families -- multi-layer fully-connected (FC-VQC), residual (ResNet-VQC), hybrid quantum-classical transformer (QT), and fully quantum transformer (FQT) -- across five regression and classification benchmarks. Our key findings are: \textbf{(i)}~FC-VQCs achieve 90-96\% of the $R^2$ of attention-based VQCs while using 40-50\% fewer parameters, and consistently outperform equal-capacity MLPs (mean $R^2{=}0.829$ vs.\ MLP$_{720}$'s $0.753$ on Boston Housing, 3-seed average); \textbf{(ii)}~FC-VQC's Type~4 inter-block connectivity provides partial cross-token mixing that approximates the role of attention -- explicit quantum self-attention yields only marginal gains on most datasets while significantly increasing parameter count; \textbf{(iii)}~expressibility saturates at circuit depth~${\approx}\,3$, explaining why shallow VQCs already cover the Hilbert space effectively; \textbf{(iv)}~LayerNorm on the fully quantum transformer improves classification accuracy, suggesting normalization is important when all operations are quantum; \textbf{(v)}~in our noise study on Boston Housing, FQT degrades gracefully under depolarizing noise while QT collapses. All results are validated across three random seeds. These findings provide practical architectural guidance for deploying VQCs on near-term quantum hardware.