순위 결정 전 할당: OmniLLM을 위한 분리된 토큰 압축

Allocation Before Ranking: Decoupled Token Compression for OmniLLMs

OmniLLM에서의 토큰 압축은 일반적으로 단일한 중요도 순위 문제로 정의됩니다. 즉, 각 멀티모달 토큰에 점수를 부여하고 상위 K개의 토큰만 유지합니다. 우리는 이러한 추상화 방식이 잘못 지정되었다고 주장합니다. 동일한 어텐션 점수는 동시에 두 가지를 결정합니다. 첫째, 각 모달리티가 할당받는 저장 용량의 양이며, 둘째, 해당 모달리티 내에서 어떤 토큰을 유지할 것인지입니다. 따라서 공유된 상위 K 규칙은 이러한 오디오에 유리한 할당 우선순위를 그대로 반영하며, 비디오 토큰이 경쟁할 기회를 갖기 전에 할당된 저장 용량을 오디오 토큰에 먼저 사용합니다. 우리는 Macer라는 학습이 필요 없는 압축 방식을 제안합니다. Macer는 먼저 명시적인 오디오 및 비디오 예산을 할당하고, 그런 다음 각 모달리티 내에서 할당을 정규화하여 순위를 결정하며, 이는 모달리티별로 얕은 레이어에서 수행됩니다. Macer는 토큰 비용을 크게 줄이면서 오디오 기반, 오디오-비디오 결합, 시각 중심 및 비디오 중심의 다양한 벤치마크에서 정확도를 유지합니다. 25%의 유지율에서 Macer는 Qwen2.5-Omni-7B 모델에서 전체 토큰 성능의 98.7%, Qwen2.5-Omni-3B 모델에서 97.3%를 유지합니다. Qwen2.5-Omni-7B 모델에서 25% 유지율은 45% 유지율로 OmniZip 수준의 성능을 달성하면서 더 낮은 FLOPs를 사용합니다. OmniVinci-9B 모델에서 동일한 '할당 우선, 순위 결정' 원칙은 공유된 상위 K 순위에 비해 최대 12.9점의 성능 향상을 가져옵니다.

Token compression in OmniLLMs is typically posed as a single saliency-ranking problem: score each multimodal token, keep the top-K. We argue this abstraction is mis-specified. The same attention score simultaneously decides two things: how much retained capacity each modality receives, and which tokens within a modality are kept. A shared top-K rule therefore inherits this audio-favoring allocation prior, spending retained capacity on audio before video tokens have a chance to compete. We propose Macer, a training-free compressor that first assigns explicit audio and video budgets, then performs allocation-normalized ranking within each modality at modality-specific shallow layers. Macer significantly reduces token cost while preserving accuracy across audio-grounded, audio--video joint, visual-dominant, and video-centric benchmarks. At 25 % retention, Macer preserves 98.7 % of full-token performance on Qwen2.5-Omni-7B and 97.3 % on Qwen2.5-Omni-3B. On Qwen2.5-Omni-7B, this 25 % setting reaches OmniZip-level performance at 45 % retention while using lower FLOPs. On OmniVinci-9B, the same allocation-before-ranking principle improves over shared top-K ranking by up to 12.9 points.