공간 시각 언어 모델에서 이중 경로 추론 강화

Reinforcing Dual-Path Reasoning in Spatial Vision Language Models

공간 시각 언어 모델(VLM)은 기하학적 인식 분야에서 상당한 발전을 이루었지만, 깊이, 거리 및 장면 관계에 대한 다단계 추론을 요구하는 복잡한 공간 추론은 여전히 어려운 과제입니다. 또한, 다양한 공간 관련 질문에는 근본적으로 다른 전략이 필요합니다. 일부 질문은 순수하게 언어적인, 단계별 추론을 통해 해결되는 반면, 다른 질문은 정량적 추론 전에 명시적인 3D 정보를 기반으로 해야 합니다. 본 연구에서는 강화 학습을 활용한 공간 VLM의 이중 경로 추론(SR-REAL)이라는 통합 프레임워크를 제시합니다. SR-REAL은 공간 VLM에 두 가지 상호 보완적인 추론 경로를 제공합니다: 단계별 언어적 추론을 수행하는 Language-Only Reasoning (LOR)과, 3D 기하학적 단서를 영역 토큰을 통해 감지한 후 명시적인 기하학적 추론을 수행하는 Detect-Then-Reason (DTR)입니다. SR-REAL은 LOR 및 DTR의 체인 오브 소트(Chain-of-Thought) 감독 신호를 구성하고, 영역과 3D 정보 간의 인터페이스를 제공하는 초기 지도 학습 단계를 거칩니다. 이후 강화 학습을 통해 정확도 및 형식 보상을 최적화하며, DTR의 경우 이산적인 중심 기반 감지 보상이 추가적으로 기하학적 정렬을 개선합니다. 다양한 공간 관련 벤치마크에서 SR-REAL은 기존의 공간 VLM 모델보다 훨씬 뛰어난 성능을 보입니다. (i) 단일 강화 학습 모델이 두 가지 추론 경로를 모두 지원하며, DTR은 정확한 3D 위치 파악을 통해 영역 인식 작업에서 뛰어난 성능을 발휘하고, LOR은 일반적인 공간 추론 능력을 향상시킵니다. (ii) 두 경로의 공동 학습은 상호 보완 효과를 가져옵니다. (iii) 안정적인 강화 학습 최적화를 위해서는 고품질의 통합된 초기 데이터가 필수적입니다. (iv) 모델은 특정 작업에 대한 튜닝 없이도 다양한 데이터셋과 도메인에서 일반화 성능을 보여주며, LOR와 DTR 간의 긍정적인 전이 효과를 입증합니다.

Spatial VLMs have made substantial progress in geometric perception, yet complex spatial reasoning requiring multi-step inference over depth, distance, and scene relations remains challenging. Moreover, different spatial queries call for fundamentally different strategies: some are best addressed through purely linguistic, step-by-step deduction, while others require explicit 3D grounding before quantitative inference. We present Dual-Path Spatial Reasoning via Reinforcement Learning for Spatial VLMs (SR-REAL), a unified framework that equips a spatial VLM with two complementary reasoning paths: Language-Only Reasoning (LOR), which performs step-by-step linguistic deduction, and Detect-Then-Reason (DTR), which detects 3D geometric cues (e.g., centers or bounding boxes) via region tokens before explicit geometric inference. SR-REAL begins with a cold-start supervised fine-tuning stage that constructs LOR and DTR chain-of-thought supervision and exposes a region-to-3D interface, followed by RL that optimizes the policy model with accuracy and format rewards; for DTR, a discrete center-based detection reward further refines geometric alignment. Across diverse spatial benchmarks, SR-REAL significantly outperforms spatial VLM baselines: (i) a single RL-trained model supports both reasoning paths, with DTR excelling in region-aware tasks through precise 3D localization and LOR enhancing general spatial reasoning; (ii) jointly training both paths fosters mutual reinforcement; (iii) high-quality, blended cold-start data is crucial for stable RL optimization; and (iv) the model generalizes across datasets and domains without per-task tuning, demonstrating positive transfer between LOR and DTR.