DRScaffold: 경량 시각 언어 모델의 밀집 장면 추론 능력 향상

DRScaffold: Boosting Dense-Scene Reasoning in Lightweight Vision Language Models

경량 시각 언어 모델은 표준 벤치마크에서 경쟁력 있는 성능을 보이지만, 여러 객체, 속성 및 관계를 동시에 이해하고 다단계 추론을 통해 해결해야 하는 밀집 장면 추론에서는 일관되게 어려움을 겪습니다. 이러한 능력은 모델이 복잡한 환경을 안정적으로 해석해야 하는 실제 응용 분야에서 매우 중요합니다. 그러나 기존의 학습 신호는 추론 단계와 관련된 시각적 요소 및 관계 간의 명시적인 연결을 제공하지 않아, 경량 모델은 유창하지만 시각적으로 연결되지 않은 추론 체인을 생성할 수 있습니다. 이러한 문제를 해결하기 위해 우리는 먼저 14,573개의 질문과 2,943장의 이미지로 구성된 벤치마크인 DRBench를 제안합니다. DRBench는 세 가지 점진적인 추론 단계를 포괄하는 다섯 가지 작업 범주로 구성되어 있습니다. DRBench를 기반으로, 우리는 DRScaffold라는 지도 미세 조정 프레임워크를 제안합니다. DRScaffold는 감독 목표를 네 단계의 인과적으로 정렬된 단계로 분해하여 아키텍처 변경 없이 근거 있는 추론을 강제합니다. 세 가지 경량 VL 모델에 대한 실험 결과, DRBench에서 상당한 성능 향상을 보였으며 일반적인 벤치마크에서는 성능이 유지되거나 개선되었습니다. 특히, DRScaffold를 사용하여 학습된 Qwen2.5-VL-3B는 DRBench에서 동결된 Qwen2.5-VL-32B보다 우수한 성능을 보여주었습니다. 이는 구조화된 감독 훈련이 밀집 장면 추론에서 상당한 모델 크기를 대체할 수 있음을 입증합니다. 우리의 코드와 모델은 https://github.com/irene-shi/DRScaffold 에서 확인할 수 있습니다.

Lightweight vision-language models perform competitively on standard benchmarks yet fail systematically in dense-scene reasoning, where multiple objects, attributes, and relations must be jointly grounded and resolved through multi-step inference. Such capability is critical for real-world applications where models must reliably interpret cluttered environments. Yet existing training signals provide no explicit grounding between reasoning steps and the underlying visual entities and relations, leaving lightweight models free to generate fluent but visually unanchored reasoning chains. To address this gap, we first introduce DRBench, a benchmark of 14,573 questions across 2,943 images, organized into five task categories spanning three progressive reasoning layers. Building on DRBench, we propose DRScaffold, a supervised fine-tuning framework that decomposes the supervision target into four causally ordered stages, enforcing grounded reasoning without architectural modification. Experiments on three lightweight VLMs demonstrate substantial gains on DRBench while preserving or improving performance on general-purpose benchmarks. Notably, Qwen2.5-VL-3B trained with DRScaffold surpasses the frozen Qwen2.5-VL-32B on DRBench, demonstrating that structured supervision can substitute for a significant portion of model scale in dense-scene reasoning. Our code and models are available at https://github.com/irene-shi/DRScaffold .