MDTransformer: 모드 분할 광학 변환 가속기의 하드웨어-소프트웨어 공동 설계, 역설계된 코히런트 크로스바 기반

MDTransformer: A Hardware-Software Co-Design of Mode-Division Photonic Transformer Accelerator with Inverse-Designed Coherent Crossbar

최근 광학 변환 가속기(PTA)는 트랜스포머 추론 속도를 높이는 데 있어 전자 가속기에 비해 상당한 속도 향상과 에너지 효율 개선을 달성했습니다. 그러나 최첨단 기술은 활성 위상 변환기 구성 요소로 인해 고가의 다중 파장 광 생성 및 대규모 내적 연산 장치를 필요로 하므로 비효율적이고 실용적이지 않습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 모드 분할 광 데이터 흐름 및 연산을 기반으로 하는 새로운 PTA의 하드웨어-소프트웨어 공동 설계인 MDTransformer를 제안합니다. 구체적으로, MDTransformer는 역설계된 다중 모드 커플러, 교차 연결 및 Mach-Zehnder IQ 변조기를 활용하여 복잡한 행렬 연산을 공간적 모드 간섭을 통해 수행하며, 이를 소형 모드 분할 광 텐서 코어(MPTC)에 통합하여 광 영역에서 행렬 곱셈을 수행합니다. 각 가이드 모드(TE0-TE3)는 독립적인 계산 경로 역할을 하며, 스펙트럼 필터링이나 자유 스펙트럴 범위 제한 없이 파장당 네 배의 병렬성을 제공합니다. 또한, 코히런트 검출 및 IQ 변조를 결합하여 진폭과 위상을 함께 인코딩함으로써 트랜스포머에서 전체 범위를 갖는 복소수 산술 연산을 구현합니다. MDTransformer는 4비트 미만의 효과적인 정밀도를 가진 아날로그 곱셈을 제공하며, 모드 간의 교차 간섭은 -30dB 이하입니다. 또한, 역설계된 접근 방식은 확장 가능하며 1550nm에서 단일 레이저 연속파 작동과 완벽하게 호환됩니다. 실험 결과는 MDTransformer가 다양한 워크로드(DeiT-Tiny/Small/Base 및 BERT-Base/Large)에 대해 최첨단 PTA 대비 40.4%의 면적 감소, 63.6%의 전력 절감, 40.6%의 에너지 절감 및 비교 가능한 지연 시간을 달성함을 보여줍니다. 이러한 결과는 MDTransformer가 고성능 및 에너지 효율적인 트랜스포머 기반 시스템을 위한 실용적인 솔루션을 제공한다는 것을 입증합니다.

Recently, photonic transformer accelerators (PTAs) have successfully achieved significant speedup and energy efficiency improvements over electronic accelerators for expediting Transformer inference. However, state-of-the-art rely on expensive multi-wavelength light generation and large dot-product units due to active phase-shifter components, thus making their approach inefficient and impractical. To address this, we propose MDTransformer, a novel hardware-software co-design of PTA based on mode-division optical dataflow and operations. Specifically, MDTransformer performs complex matrix operations using spatial-mode interference, that leverages the inverse-designed multi-mode couplers, crossings, and Mach-Zehnder IQ modulators into a compact mode-division photonic tensor core (MPTC), capable of executing matrix multiplications in the optical domain. Its each guided mode (i.e., TE0-TE3) acts as an independent computational lane, enabling four-fold parallelism-per-waveguide without spectral filtering or free-spectral-range limitations. Moreover, its coherent detection and IQ modulation jointly encode amplitude and phase, realizing complex-valued arithmetic for full-range operations in transformers. MDTransformer offers analog multiplication with sub-4-bit effective precision and inter-modal crosstalk below -30 dB. Its inverse-designed approach also offers scalable and full compatibility with single-laser continuous-wave operation at 1550 nm. Experimental results show that MDTransformer achieves 40.4% area reduction, 63.6% power saving, 40.6% energy saving, and comparable latency over the state-of-the-art PTA across different workloads (i.e., DeiT-Tiny/Small/Base and BERT-Base/Large). These results show that MDTransformer offers a practical solution for high-performance and energy-efficient transformer-based systems.