OrpQuant: 멀티플라이어 프리(Multiplier-Free) 파워 오브 투(Power-of-Two) 트랜스포머 양자화의 기하학적 직교 잔차 투영

OrpQuant: Geometric Orthogonal Residual Projection for Multiplier-Free Power-of-Two Transformer Quantization

대규모 언어 모델(LLM) 및 비전 트랜스포머(ViT)를 에지 디바이스에서 배포할 때, 메모리 제한과 고밀도 곱셈-누산(MAC) 배열이 초래하는 치명적인 타이밍 병목 현상이 큰 제약으로 작용합니다. 초저비트 영역에서는 로그 방식의 파워 오브 투(Power-of-Two, PoT) 양자화가 MAC 연산을 비트 시프트로 대체하여 하드웨어 효율성을 제공하는 대안입니다. 그러나 비균일 엑스포넨셜 격자 구조는 본질적으로 '저각도 해상도 영역(Low Angular Resolution Regime)'이라는 구조적 결함을 가지고 있으며, 이는 특히 4비트 미만 임계값에서 두드러져 고차원 특징 매니폴드의 성능 저하를 초래합니다. 이러한 기하학적 한계를 해결하기 위해, 우리는 알고리즘-하드웨어 공동 설계 프레임워크인 직교 잔차 투영(Orthogonal Residual Projection, ORP)을 제안합니다. 양자화를 이중 기반(dual-basis) 기하학적 투영으로 정형화함으로써, ORP는 엄격히 시프트 및 덧셈 연산만을 사용하여 고해상도 잔차 격자를 적응적으로 합성합니다. 또한, ORP의 분석적 솔버는 연산 집약적인 그래디언트 기반 최적화에 대한 실용적인 대안을 제공하며, LLaMA-2-7B 모델의 전체 모델 캘리브레이션 시간을 약 15분으로 단축시킵니다. 광범위한 평가를 통해 ORP의 모달리티 전반에 걸 있는 적용 가능성과 하드웨어 효율성을 입증합니다. 3비트(W3/A16) 제약 조건에서, ORP는 LLaMA-2-T7B 모델에서 6.10의 퍼플렉시티를 달성하며, 비대칭 스케일링에 의존하지 않고도 AWQ와 같은 기존 MAC 중심적인 베이스라인과 잘 비교됩니다. 또한 4비트 시나리오에서도 경쟁력 있는 정확도를 유지합니다. 실리콘 수준에서 28nm 노드에서의 표준 셀 RTL 합성 결과는 ORP가 고밀도 멀티플라이어 트리의 타이밍 병목 현상을 효과적으로 완화시킨다는 것을 보여줍니다.

The deployment of Large Language Models (LLMs) and Vision Transformers (ViTs) on edge devices is significantly constrained by memory limitations and the critical timing bottlenecks introduced by dense Multiply-Accumulate (MAC) arrays. In the ultra-low bit regime, logarithmic Power-of-Two (PoT) quantization provides a hardware-efficient alternative by replacing MAC operations with bit-shifts. However, the non-uniform exponential lattice is inherently limited by a \textbf{Low Angular Resolution Regime}, a structural flaw that becomes particularly pronounced at sub-4-bit thresholds, leading to a notable degradation of high-dimensional feature manifolds. To address this geometric limitation, we propose Orthogonal Residual Projection (ORP), an algorithm-hardware co-design framework. By formulating quantization as a dual-basis geometric projection, ORP adaptively synthesizes a higher-resolution residual lattice using strictly shift-and-add operations. Furthermore, ORP's analytical solver offers a practical alternative to computationally intensive gradient-based optimization, reducing the full-model calibration time for LLaMA-2-7B to approximately \textbf{15 minutes}. Extensive evaluations demonstrate ORP's applicability across modalities and its hardware efficiency. Under the 3-bit (W3/A16) constraint, ORP achieves a perplexity of 6.10 on LLaMA-2-7B, comparing favorably to conventional MAC-intensive baselines like AWQ without relying on asymmetric scaling, while maintaining competitive accuracy in 4-bit scenarios. At the silicon level, standard-cell RTL synthesis at a 28nm node indicates that ORP effectively mitigates the timing bottlenecks associated with dense multiplier trees.