멀티모달 추론을 위한 데이터 큐레이션에서 무엇이 중요한가? DCVLR 챌린지를 통해 얻은 시사점

What Matters in Data Curation for Multimodal Reasoning? Insights from the DCVLR Challenge

우리는 모델과 학습 프로토콜을 고정하여 데이터셋 선택의 효과만을 분리해낸 NeurIPS 2025 시각-언어 추론 데이터 큐레이션(DCVLR) 챌린지를 통해 멀티모달 추론을 위한 데이터 큐레이션을 연구한다. 주로 Walton Multimodal Cold Start에서 파생된 소규모 정제 데이터셋을 활용하여 우리 팀은 해당 챌린지에서 1위를 차지했다. 대회 종료 후 수행한 애블레이션 연구를 통해, 우리는 정렬된(aligned) 베이스 데이터셋에서 난이도 기반으로 예제를 선택하는 것이 성능 향상의 주된 요인임을 입증했다. 고정된 학습 환경에서 데이터셋의 크기를 늘리는 것은 평균 정확도를 일관되게 개선하지 못한 채 주로 실행 간 분산만을 감소시켰으며, 흔히 사용되는 다양성 확보 및 합성 데이터 증강 휴리스틱은 추가적인 이득을 주지 못하거나 오히려 성능을 저하시키는 것으로 나타났다. 이러한 결과는 DCVLR 챌린지가 포화 영역(saturation-regime) 평가의 성격을 띠고 있음을 보여주며, 데이터 효율적인 멀티모달 추론에 있어 정렬과 난이도가 핵심적인 역할을 한다는 점을 강조한다.

We study data curation for multimodal reasoning through the NeurIPS 2025 Data Curation for Vision-Language Reasoning (DCVLR) challenge, which isolates dataset selection by fixing the model and training protocol. Using a compact curated dataset derived primarily from Walton Multimodal Cold Start, our submission placed first in the challenge. Through post-competition ablations, we show that difficulty-based example selection on an aligned base dataset is the dominant driver of performance gains. Increasing dataset size does not reliably improve mean accuracy under the fixed training recipe, but mainly reduces run-to-run variance, while commonly used diversity and synthetic augmentation heuristics provide no additional benefit and often degrade performance. These results characterize DCVLR as a saturation-regime evaluation and highlight the central role of alignment and difficulty in data-efficient multimodal reasoning.