시작부터 끝을 예측하다: MLP 희소성 기반 절단 기법을 통한 디퓨전 멀티모달 LLM 가속화

Seeing the End at Step Zero: Accelerating Diffusion MLLMs via MLP Sparsity-Aware Truncation

디퓨전 멀티모달 대규모 언어 모델(DMLLM)은 다중 모드 추론에 매우 효과적이지만, 고정된 길이 생성 제약으로 인해 추론 효율성이 크게 저하됩니다. 실제 출력 길이를 알 수 없기 때문에, 출력 시퀀스는 미리 정의된 최대 길이에 맞춰 패딩되므로 불필요한 [EOS] 토큰에 대한 상당한 중복 계산이 발생합니다. 본 연구에서는 DMLLM이 MLP 활성화 희소성의 뚜렷한 변화를 통해 첫 번째 디노이징 단계에서 유효한 의미 경계를 암묵적으로 드러낸다는 것을 발견했습니다. 이러한 관찰을 바탕으로, 저희는 학습 과정 없이 이 경계를 Signal-to-Noise Ratio (SNR) 기반 기준으로 감지하고 모든 후속 계산에 대해 불필요한 접미부를 한 번에 잘라내는 Seer라는 프레임워크를 제안합니다. 배치 처리 환경에서도 이러한 이론적인 이점을 유지하기 위해, Seer는 처리량을 극대화하면서 동적인 시퀀스 길이를 원활하게 수용하는 하이브리드 실행 전략을 통합했습니다. 실험 결과, Seer는 패딩으로 인한 낭비를 효과적으로 제거하여 최대 약 31배의 처리량 향상을 달성했습니다. 9개의 벤치마크에서 Seer는 전반적인 성능을 유지하고, 심지어 복잡한 시각적 작업에서 노이즈 유출을 완화하여 정확도를 개선합니다(예: DocVQA 점수가 63.52에서 63.66으로 증가). 이는 DMLLM 가속화를 위한 매우 효율적이고 간단하게 적용할 수 있는 솔루션을 제공합니다.

Diffusion Multimodal Large Language Models (DMLLMs) are highly effective for multimodal reasoning, yet their inference efficiency is significantly hindered by fixed-length generation constraints. Since the actual output length is unknown, output sequences are padded to a predefined maximum length, resulting in substantial redundant computation over unnecessary [EOS] tokens. In this work, we discover that DMLLMs implicitly reveal their valid semantic boundary at the very first denoising step through a distinct shift in MLP activation sparsity. Leveraging this observation, we propose Seer, a training-free framework that detects this boundary using a Signal-to-Noise Ratio (SNR)-based criterion and performs one-shot truncation of the redundant suffix for all subsequent computations. To preserve these theoretical gains during batched serving, Seer incorporates a hybrid execution strategy that maximizes throughput while seamlessly accommodating dynamic sequence lengths. Experimental results demonstrate that Seer effectively eliminates padding waste, accelerating throughput by up to $\sim$31$\times$. Across 9 benchmarks, Seer robustly maintains overall performance and even improves accuracy on complex visual tasks by mitigating noise leakage (e.g., DocVQA score increases from 63.52 to 63.66), offering a highly efficient, plug-and-play solution for DMLLM acceleration.