최신 연구 결과: Quamba-SE: 상태 공간 모델 활성화 함수의 소프트-엣지 양자화기

Late Breaking Results: Quamba-SE: Soft-edge Quantizer for Activations in State Space Models

본 연구에서는 상태 공간 모델(SSM)의 활성화 함수 양자화를 위한 소프트-엣지 양자화기인 Quamba-SE를 제안합니다. 기존 방법과는 달리, Quamba-SE는 표준 INT8 연산을 사용하며, 작은 값에는 고정밀, 일반적인 값에는 표준 스케일, 이상치에는 저정밀의 세 가지 적응형 스케일을 적용합니다. 이를 통해 이상치 정보를 보존하면서, 다른 값들의 정밀도를 유지합니다. Mamba-130M 모델을 사용하여 6개의 제로샷 벤치마크에서 Quamba-SE를 평가한 결과, Quamba-SE는 Quamba보다 일관되게 우수한 성능을 보였으며, 개별 벤치마크에서 최대 +2.68% 향상, 그리고 6개의 데이터셋 평균 정확도에서 최대 +0.83% 향상을 달성했습니다.

We propose Quamba-SE, a soft-edge quantizer for State Space Model (SSM) activation quantization. Unlike existing methods, using standard INT8 operation, Quamba-SE employs three adaptive scales: high-precision for small values, standard scale for normal values, and low-precision for outliers. This preserves outlier information instead of hard clipping, while maintaining precision for other values. We evaluate on Mamba- 130M across 6 zero-shot benchmarks. Results show that Quamba- SE consistently outperforms Quamba, achieving up to +2.68% on individual benchmarks and up to +0.83% improvement in the average accuracy of 6 datasets.