효율적인 개인 중심 객체 인식을 위한 동적 해상도 라우팅

Dynamic Resolution Routing for Efficient Egocentric Grounding

개인 시각 인식은 작은 객체를 정확하게 위치시키기 위해 고해상도 입력이 필요합니다. 그러나 다중 모달 대규모 언어 모델을 이 분야에 적용하는 것은 시각 토큰 처리 비용이 과도하여 제약이 있습니다. 본 연구에서는 현재의 효율적인 전략, 즉 토큰 감소 방식이 객체 중심 공간 증거를 선택하는 데 신뢰성이 떨어진다는 점을 확인했습니다. 이를 해결하기 위해, 픽셀 공간에서 동적 해상도 라우팅을 통해 효율성을 최적화하는 프레임워크인 SmartRes를 제안합니다. SmartRes는 먼저 저해상도 이미지를 사용하여 전역 컨텍스트를 인코딩하고, 가벼운 라우터를 활용하여 객체 중심 영역의 고해상도 패치를 활성화하며, 순서를 유지하는 시각적 시퀀스를 구성합니다. 또한, 심각한 배경-전경 불균형 상태에서도 강력한 라우팅을 가능하게 하기 위해, 전경-배경 로짓 간의 분리를 증가시키고 전경 재현율을 향상시키는 마진 정규화 라우팅 목적 함수를 도입했습니다. Ego4D 및 EgoIntention 데이터셋에 대한 실험 결과, SmartRes는 시각 토큰을 최대 67%까지 줄이면서 전체 해상도 성능의 86.4%를 유지하며, 최첨단 토큰 감소 방법보다 최대 1.66배 빠른 추론 속도를 달성하고 더 높은 정확도를 보여주었습니다. 또한, 작은 객체 인식을 위한 뛰어난 성능은 SmartRes가 개인 시각 응용 분야에 효과적임을 나타냅니다. 코드는 공개될 예정입니다.

Egocentric visual grounding requires high-resolution inputs to localize small objects. However, scaling Multimodal Large Language Models to this domain is constrained by the excessive cost of visual token processing. We identify that current efficient strategies based on token reduction are unreliable for selecting object-centric spatial evidence. To overcome this, we propose SmartRes, a framework that performs efficiency optimization in the pixel space via dynamic resolution routing. SmartRes first encodes a low-resolution view for global context and uses a lightweight router to activate high-resolution patches in object-centric regions and constructs an order-preserving visual sequence. To further enable robust routing under severe foreground-background imbalance, we introduce a margin-regularized routing objective that increases foreground-background logit separation and improves foreground recall. Experiments on Ego4D and EgoIntention show that SmartRes reduces visual tokens by up to 67% while retaining 86.4% of full-resolution performance, and achieves up to 1.66X faster inference than state-of-the-art token reduction methods with higher accuracy. Furthermore, strong performance on small object grounding indicates the effectiveness of SmartRes towards egocentric applications. Code will be publicly available.