충분히 좋으면 최적이다: 양자화된 게이트드 델타넷을 위한 곱셈만 사용하는 행렬 역전산 근사

When Good Enough Is Optimal: Multiplication-Only Matrix Inversion Approximation for Quantized Gated DeltaNet

청크 단위 병렬 선형 어텐션에서 행렬 역전산은 특히 NPU(신경 처리 장치) 환경에서 큰 병목 현상이며, 순방향 대입 기반 방법은 제한적인 병렬성과 낮은 하드웨어 활용률을 보입니다. 본 논문에서는 청크 단위 선형 어텐션에 나타나는 엄격히 하삼각 행렬에 최적화된 빠르고 효율적인 행렬 곱셈(MatMul) 기반 알고리즘을 제안합니다. న్యూ만 급수의 빠른 증가와 역행렬의 대각 집중 현상을 고려하여, 구조적 마스킹과 병렬 잔차 보정을 사용한 절단된 న్యూ만 확장을 통해 순차적 의존성을 제거합니다. 또한, 본 방법은 반복적인 행렬 거듭제곱 연산으로 인해 발생하는 동적 범위 확대를 완화하여 저비트 INT 환경에서도 적용 가능하도록 확장되었으며, 모델의 정확도를 유지하면서 계산 비용을 최소화하기 위해 근사 차수와 잔차 단계를 청크 크기에 맞게 조정했습니다. Qwen3.5 패밀리 모델에 대한 실험 결과, 본 방법은 최대 5배의 커널 수준 속도 향상과 디코딩 레이어 오버헤드 20% 감소를 보여주었으며, 부동 소수점 및 저정밀 추론 모두에서 정확도를 유지했습니다. 본 방법은 확장 가능한 선형 어텐션을 위한 효율적이고 하드웨어 친화적인 솔루션을 제공합니다.

Matrix inversion in chunk-wise parallel linear attention is a major bottleneck for long-context modeling, particularly on NPUs, where forward-substitution-based methods exhibit limited parallelism and poor hardware utilization. We propose a fast, Matrix Multiplication (MatMul)-based algorithm tailored for strictly lower-triangular matrices arising in chunk-wise linear attention. Motivated by the rapid growth of Neumann-series terms and the diagonal concentration of the inverse matrix, we employ a truncated Neumann expansion with structural masking and parallel residual correction to eliminate sequential dependencies. We further extend our method to low-bits INT by mitigating the dynamic range expansion arising from repeated matrix power operations, and adapt the approximation order and residual step to the chunk size to minimize computational cost while preserving the model's accuracy. Experiments on Qwen3.5-family models demonstrate up to 5$\times$ kernel-level speedup and a 20% reduction in decode-layer overhead, while preserving accuracy under both floating-point and low-precision inference. Our method offers an efficient and hardware-friendly solution for scalable linear attention.