맹인처럼 깨어나다: 지상 시각 인식을 위한, 지도 없이 작동하는 에이전트의 경로 최적화 연구

Waking Up Blind: Cold-Start Optimization of Supervision-Free Agentic Trajectories for Grounded Visual Perception

작은 시각-언어 모델(SVLM)은 효율적인 작업 제어 기능을 제공하지만, 시각적 취약성과 도구 조작 능력 부족이라는 단점이 종종 발생합니다. 이러한 문제점을 해결하기 위해 일반적으로 비용이 많이 드는 지도 기반 경로 튜닝이 필요합니다. 본 연구에서는, SVLM을 위한 콜드스타트 강화 학습을 통해 에이전트의 능력을 향상시키는 지도 없이 작동하는 프레임워크인 Self-supervised Perception Enabled by Cascaded Tool Rollout Alignment (SPECTRA)를 제안합니다. SPECTRA는 Soft Structured Multi-turn Rollouts라는 위상적 제약을 사용하여, 에이전트가 합성 전에 도구에서 얻은 증거를 명시적으로 순차적으로 활용하도록 유도함으로써, 추론을 시각적 관찰에 효과적으로 연결합니다. 본 연구에서는, 작업 정확도, 경로 구조, 도구 유용성을 동시에 최대화하는 다중 목적 보상 신호를 사용하여, 에이전트가 인간의 선호도 레이블 없이도 견고한 행동을 스스로 학습하도록 합니다. 또한, ground truth가 없는 상황에서 도구의 효용성을 정량화하는 새로운 지표인 Tool Instrumental Utility (TIU)를 도입합니다. 복합 및 분산 데이터셋(MMMU-Pro)에 대한 광범위한 실험 결과, SPECTRA는 에이전트의 경로를 개선하여 작업 정확도를 최대 5%, 도구 효율성을 최대 9% 향상시키며, 환경과의 상호 작용만으로 효과적으로 학습하는 더욱 효율적인 멀티모달 에이전트 개발을 가능하게 합니다.

Small Vision-Language Models (SVLMs) are efficient task controllers but often suffer from visual brittleness and poor tool orchestration. They typically require expensive supervised trajectory tuning to mitigate these deficits. In this work, we propose Self-supervised Perception Enabled by Cascaded Tool Rollout Alignment (SPECTRA), a supervision-free framework that bootstraps agentic capabilities via Coldstart Reinforcement Learning for SVLMs. SPECTRA enforces Soft Structured Multi-turn Rollouts, a topological constraint that directs agents to explicitly sequence tool derived evidence before synthesis, effectively grounding reasoning in visual observations. We employ a multi-objective reward signal that simultaneously maximizes task correctness, rollout structure, and tool utility, enabling agent to self-discover robust behaviors without human preference labels. We further introduce Tool Instrumental Utility (TIU), a novel metric to quantify tool efficacy in the absence of ground truth. Extensive evaluations across composite and out-of-distribution (MMMU-Pro) benchmarks demonstrate that SPECTRA boosts agentic trajectories, improving task accuracy by up to 5% and tool efficiency by 9%, enabling more efficient multimodal agents that learn effectively from environmental interaction alone.