축소된 행렬 곱셈: LLM 추론을 위한 입력 적응형 행렬곱 축소 기법

Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference

트랜스포머 기반 언어 모델은 뛰어난 성능을 보이지만, 반복적인 고차원 행렬 곱셈으로 인해 상당한 추론 비용이 발생합니다. 본 연구에서는 학습 과정 없이 입력에 따라 동적으로 조정되어 트랜스포머의 행렬곱 연산을 축소하는 '축소된 행렬 곱셈(Reduced Matrix Multiplication, RMM)' 기법을 제안합니다. RMM은 모델 가중치를 변경하지 않고, 정보가 풍부한 부분을 선택하여 축소 비율을 조절함으로써 예측 가능하고 균형 잡힌 정확도-효율성 간의 상호 작용을 제공합니다. 10억 개에서 700억 개의 파라미터를 가진 다양한 언어 모델에 대해 실험한 결과, 축소 허용치는 모델 종류, 작업, 구성 요소 및 유지 비율에 따라 달라지지만, 일반적으로 모델 규모가 커질수록 개선되는 경향이 있습니다. 적절한 수준의 축소를 통해 RMM은 다양한 판별(discriminative), 자동 회귀 생성(autoregressive generation) 및 긴 문맥 처리(long-context settings) 환경에서 안정적인 성능을 유지합니다. 또한, 동일한 원리가 다중 모드 비전-언어 추론에도 적용될 수 있음을 보여줍니다. 추가 분석 결과, 트랜스포머 내부 구조의 비대칭성이 확인되었으며, 어텐션 관련 연산이 MLP 구성 요소보다 훨씬 더 많은 축소가 가능하다는 것을 알 수 있습니다. NVIDIA A100 GPU에서 사용자 정의 커널을 사용하여 수행한 실제 벤치마크 테스트 결과, 이러한 계산량 감소가 특히 긴 시퀀스 길이에서 상당한 실행 시간 단축으로 이어질 수 있음을 확인했습니다. 종합적으로 볼 때, 본 연구의 결과는 RMM이 입력에 적응적인 추론 시간 최적화를 위한 확장 가능한 방향을 제시함을 보여줍니다.

Transformer-based language models achieve strong performance but incur substantial inference cost due to repeated high-dimensional matrix multiplications. We propose Reduced Matrix Multiplication (RMM), a training-free, input-adaptive inference method that reduces Transformer matrix products by selecting informative slices along their contraction dimensions, without modifying model weights. Under a simple retention-ratio control, RMM provides a smooth and predictable accuracy-efficiency trade-off. Across language models ranging from 1B to 70B parameters, we find that reduction tolerance depends on the model family, task, component, and retention ratio, although it often improves with model scale. Under moderate reduction, RMM remains robust across the evaluated discriminative, autoregressive generation, and long-context settings. We further show that the same principle extends to multimodal vision-language inference. Mechanistic ablations reveal a structural asymmetry within Transformers: attention-side computations are substantially more reducible than MLP components. Finally, wall-clock benchmarks with custom kernels on an NVIDIA A100 show that these computational savings can translate into practical runtime gains, especially at longer sequence lengths. Together, these results position RMM as a scalable direction for input-adaptive inference-time optimization.