테일 인식 HiFloat4: Wan2.2 모델에 대한 W4A4 사후 양자화

Tail-Aware HiFloat4: W4A4 Post-Training Quantization for Wan2.2

본 보고서는 저비트 텍스트-영상 생성 양자화 경진 대회에 제출된 '테일 인식 HiFloat4' 방법을 설명합니다. 저희 방법은 공개된 ViDiT-Q 사후 양자화 파이프라인을 HiFloat4 숫자 형식을 사용하여 Wan2.2 모델에 적용했습니다. Wan2.2 트랜스포머 모듈의 주요 선형 레이어를 W4A4 HiFloat4 가짜 양자화를 통해 양자화하고, 수치적으로 민감한 경계 모듈은 고정밀로 유지하며, 채널 마스크 생성을 위한 활성화-테일 인식 백분위수 보정 모듈을 도입했습니다. 또한, 압축된 PTQ 상태 복원을 통해 희귀한 교정 이상치의 영향을 줄이면서 런타임 HiFloat4 연산 및 샘플링 파이프라인은 변경하지 않았습니다.

This report describes Tail-Aware HiFloat4, our submission to the low-bit text-to-video generation quantization challenge. Our method adapts the public ViDiT-Q post-training quantization pipeline to Wan2.2 under the HiFloat4 numerical format. We quantize the main linear layers in both Wan2.2 transformer modules with W4A4 HiFloat4 fake quantization, keep numerically sensitive boundary modules in high precision, and introduce an activation-tail-aware percentile calibration module for channel-mask construction. Together with compact PTQ-state restoration, this design reduces the influence of rare calibration outliers while keeping the runtime HiFloat4 arithmetic and sampling pipeline unchanged.