ST-Prune: 자율 주행 시스템의 비전-언어 모델을 위한 학습 불필요한 시공간 토큰 가지치기

ST-Prune: Training-Free Spatio-Temporal Token Pruning for Vision-Language Models in Autonomous Driving

비전-언어 모델(VLMs)은 자율 주행 시스템의 핵심 기술로 자리 잡았지만, 다중 뷰 카메라 및 다중 프레임 비디오 입력으로 인한 막대한 계산량 때문에 실제 적용에 어려움을 겪고 있습니다. 기존의 토큰 가지치기 방법은 주로 단일 이미지 입력을 대상으로 설계되었으며, 각 프레임이나 뷰를 개별적으로 처리하기 때문에 자율 주행 시나리오에서 나타나는 고유한 시공간적 중복성을 활용하지 못합니다. 이러한 문제를 해결하기 위해, 우리는 학습이 필요 없는 플러그 앤 플레이 프레임워크인 ST-Prune을 제안합니다. ST-Prune은 두 가지 상호 보완적인 모듈로 구성됩니다. 첫 번째 모듈인 Motion-aware Temporal Pruning (MTP)은 움직임의 변동성과 시간적 최신성을 소프트 제약 조건으로 사용하여 다양성 선택 목표 내에 통합하여, 정적인 배경보다 동적인 경로와 현재 프레임의 내용을 우선적으로 고려합니다. 두 번째 모듈인 Ring-view Spatial Pruning (RSP)은 링-뷰 카메라의 기하학적 구조를 활용하여 양방향 뷰 간의 유사성을 줄여, 중복된 투영과 시간적 가지치기만으로는 제거할 수 없는 잔여 배경을 제거합니다. 이 두 가지 모듈은 함께 완전한 시공간적 가지치기 프로세스를 구성하며, 엄격한 압축 조건에서도 중요한 장면 정보를 유지합니다. 인지, 예측 및 계획을 포함한 네 가지 벤치마크에서 ST-Prune은 학습이 필요 없는 토큰 가지치기 분야에서 새로운 최고 성능을 달성했습니다. 특히, 90%의 토큰 감소에도 불구하고 ST-Prune은 특정 지표에서 전체 모델의 성능을 능가하는 거의 손실 없는 성능을 달성했으며, 기존의 가지치기 방법과 유사한 추론 속도를 유지했습니다.

Vision-Language Models (VLMs) have become central to autonomous driving systems, yet their deployment is severely bottlenecked by the massive computational overhead of multi-view camera and multi-frame video input. Existing token pruning methods, primarily designed for single-image inputs, treat each frame or view in isolation and thus fail to exploit the inherent spatio-temporal redundancies in driving scenarios. To bridge this gap, we propose ST-Prune, a training-free, plug-and-play framework comprising two complementary modules: Motion-aware Temporal Pruning (MTP) and Ring-view Spatial Pruning (RSP). MTP addresses temporal redundancy by encoding motion volatility and temporal recency as soft constraints within the diversity selection objective, prioritizing dynamic trajectories and current-frame content over static historical background. RSP further resolves spatial redundancy by exploiting the ring-view camera geometry to penalize bilateral cross-view similarity, eliminating duplicate projections and residual background that temporal pruning alone cannot suppress. These two modules together constitute a complete spatio-temporal pruning process, preserving key scene information under strict compression. Validated across four benchmarks spanning perception, prediction, and planning, ST-Prune establishes new state-of-the-art for training-free token pruning. Notably, even at 90\% token reduction, ST-Prune achieves near-lossless performance with certain metrics surpassing the full-model baseline, while maintaining inference speeds comparable to existing pruning approaches.