MXAttention: 데이터 불필요한 최적 스케일링 및 사전 정규화 양자화를 통한 MXFP4 어텐션 성능 향상

MXAttention: Data-Free Optimal Scaling and Pre-Normalization Quantization for MXFP4 Attention

어텐션 연산의 제곱 차원은 확산 기반 비디오 생성 모델에서 주요 병목 현상입니다. MXFP4 어텐션은 효율적인 추론을 위한 유망한 방법이지만, 직접적인 MXFP4 양자화는 종종 전력-2 스케일링으로 인한 클리핑-언더플로우 문제와 소프트맥스 루프에 도입되는 행 단위 정규화 오류로 인해 생성 품질 저하를 초래합니다. 본 연구에서는 MXFP4 어텐션을 위한 데이터 불필요한 사후 훈련 양자화 프레임워크인 MXAttention을 제안합니다. MXAttention은 두 가지 구성 요소, 즉 Universal Optimal Scaling (UOS)과 Pre-Normalization Quantization (PNQ)를 도입합니다. UOS는 전력-2 미세 스케일링의 주기적 구조를 활용하여 보정 또는 검색 없이 분포에 독립적인 최적 스케일링 경계 Qmax=7.25를 도출합니다. PNQ는 행 단위 합산 전에 정규화되지 않은 소프트맥스 지수 값을 양자화하여, 설계상 정규화를 유지합니다. Wan2.2 및 HunyuanVideo 데이터셋에 대한 실험 결과, MXAttention은 OCP MXFP4와 FP16 간의 VBench 이미지 품질 격차를 최소 95%까지 줄이고, 프레임 수준 유사성을 크게 향상시키며, 모든 보고된 VBench 지표에서 0.01 미만의 절대적인 성능 저하로 FP16 수준의 생성 품질을 유지합니다. MXAttention은 어텐션 파이프라인에 통합될 때 상당한 오버헤드 없이 강력한 NVFP4 기반 모델과 경쟁력 있는 성능을 달성합니다. 구현 코드는 MindIE-SD에서 공개적으로 이용 가능합니다.

The quadratic cost of attention is a major bottleneck in diffusion-based video generation models. MXFP4 attention provides a promising path toward efficient inference, but direct MXFP4 quantization often degrades generation quality due to two numerical issues: the clipping-underflow trade-off from power-of-two scaling and the row-wise normalization error introduced in the softmax loop. We propose MXAttention, a data-free post-training quantization framework for MXFP4 attention. MXAttention introduces two components: Universal Optimal Scaling (UOS), which exploits the periodic structure of power-of-two microscaling to derive a distribution-independent optimal scaling boundary Qmax=7.25 without calibration or search, and Pre-Normalization Quantization (PNQ), which quantizes unnormalized softmax exponentials before row-wise summation to preserve normalization by construction. Experiments on Wan2.2 and HunyuanVideo show that MXAttention closes at least 95% of the VBench Imaging Quality gap between OCP MXFP4 and FP16, substantially improves frame-level similarity, and preserves FP16-level generation quality with less than 0.01 absolute degradation on all reported VBench metrics. MXAttention also achieves performance competitive with strong NVFP4-based baselines with negligible overhead when fused into the attention pipeline. The implementation is publicly available in MindIE-SD.