DCP-Prune: 분산 일관성 유지 기반의 초저 토큰 가지치기

DCP-Prune: Ultra-Low Token Pruning with Distribution Consistency Preservation

최근 비전 토큰 가지치기 방법은 적절한 토큰 예산을 사용할 때 모델 성능을 효과적으로 유지하지만, 극히 낮은 토큰 예산에서는 불안정해지는 경향이 있습니다. 우리의 분석에 따르면, 가지치기 예산이 감소함에 따라 정확도 저하는 종종 더 큰 특징 분포 변화를 동반합니다. 중요한 점은 이러한 분포 변화의 정도가 성능 저하와 강하게 상관관계가 있다는 것입니다. 이 현상을 보다 명확하게 파악하기 위해, 우리는 유지된 토큰과 전체 토큰 간의 분포 변화를 추정하는 경량화된 분산 일관성 지표를 도입했습니다. 이러한 관찰을 바탕으로, 우리는 앵커-컨텍스트 그래프 복구(ACGR)와 텍스트 기반 토큰 클러스터 선택(TATCS)으로 구성된 두 단계 가지치기 프레임워크를 제안합니다. 특히, ACGR은 토큰 제거 전에 컨텍스트 정보를 전달하고, TATCS는 심각한 분포 변화가 감지되면 대표적인 토큰을 동적으로 재선택합니다. 광범위한 실험 결과, 우리의 방법이 극히 낮은 토큰 예산에서 우수한 성능과 안정성을 달성함을 보여줍니다. 주목할 만한 점은, LLaVA-1.5-7B 모델의 평균 최고 성능의 92.1%를 유지하면서 단 16개의 시각적 토큰만 사용했다는 것입니다.

Recent vision token pruning methods effectively preserve model performance under moderate token budgets but become unstable under ultra-low token budget. Our analysis shows that as the pruning budget decreases, accuracy degradation is often accompanied by larger feature distribution shifts. Critically, the degree of this distribution shift strongly correlates with performance degradation. To better characterize this phenomenon, we introduce a lightweight distribution consistency metric to estimate the distribution shift between retained and full tokens. Motivated by these observations, we propose a two-stage pruning framework consisting of Anchor-Context Graph Recovery (ACGR) and Text-Aware Token Cluster Selection (TATCS). Specifically, ACGR transfers contextual information before token removal, while TATCS dynamically re-selects representative tokens when severe distribution shift is detected. Extensive experiments demonstrate that our method achieves superior and more stable performance under ultra-low token budget. Notably, it retains 92.1% of the upper-bound average performance on LLaVA-1.5-7B with only 16 visual tokens.