DeltaPrompts: 다중 모드 증류 과정에서 발생하는 제로-델타 문제 극복

DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation

증류(Distillation)는 효율적인 시각-언어 모델(VLMs)이 강력한 추론 능력을 갖추도록 돕지만, 이 과정을 이끄는 프롬프트는 일반적으로 단순한 휴리스틱에 의해 선택되거나 기존 데이터셋에서 수집됩니다. 본 연구에서는 이러한 접근 방식의 중요한 비효율성을 밝히는데, 이는 표준 차트/문서 추론 데이터셋의 최대 69%가 '제로-델타' 프롬프트를 포함한다는 것입니다. 즉, 교사 모델과 학생 모델이 이미 동일한 답변 분포를 생성한다는 의미입니다. 이러한 프롬프트로 학습하면 최소한의 학습 신호만 제공되어 데이터 규모에 관계없이 학생 모델의 성능 향상이 빠르게 정체됩니다. 제로-델타 함정에서 벗어나기 위해, 우리는 근본적인 원칙으로 돌아갑니다. 즉, 증류는 기본적으로 분포 차이를 최소화하며, 따라서 프롬프트는 교사 모델과 학생 모델 간의 기능적 격차를 드러낼 때만 가치가 있습니다. 우리는 답변 불일치(answer divergence, Δ)를 통해 이러한 격차를 정량화하고, 효과적인 성능 확장을 위해서는 0이 아닌 불일치가 중요하다는 것을 입증합니다. 이러한 통찰력을 바탕으로, 기존 데이터셋을 활용하여 학생 모델의 실패 지점을 적극적으로 타겟팅하여 더 나은 프롬프트를 생성하는 단계별 합성 파이프라인을 제안합니다. 그 결과, DeltaPrompts는 20만 개의 다양한 유형의 합성 추론 문제 데이터셋입니다. 우리는 DeltaPrompts를 세 가지 서로 다른 환경에서 평가했습니다. 첫째, 특정 교사-학생 모델 쌍과의 온라인 증류(on-policy distillation), 둘째, 데이터를 재생성하지 않고 새로운 모델 아키텍처로의 전이 학습(transfer learning), 셋째, 추론 능력이 없는 모델의 오프라인 미세 조정(off-policy fine-tuning)입니다. 모든 시나리오에서 DeltaPrompts는 상당한 성능 향상을 가져왔으며, 심지어 최적화된 추론 모델(예: Qwen3-VL-8B-Thinking)을 기반으로 하더라도 최대 15%의 상대적인 성능 향상을 달성했습니다. 이는 차트, 문서 및 인식 중심 추론을 아우르는 10개의 벤치마크에서 평균적으로 관찰된 결과입니다.

Distillation enables compact Vision-Language Models (VLMs) to obtain strong reasoning capabilities, yet the prompts driving this process are typically chosen via simple heuristics or aggregated from off-the-shelf datasets. We reveal a critical inefficiency in this approach: up to 69% of the prompts in standard chart / document reasoning datasets are effectively zero-delta, meaning the teacher and student already induce the exact same answer distribution. Training on these prompts provides minimal learning signal, causing student improvement to rapidly saturate regardless of data scale. To escape the zero-delta trap, we return to first principles: distillation fundamentally minimizes distributional divergence, and thus a prompt is valuable only if it exposes a functional capability gap between the teacher and student. We quantify this gap through answer divergence ($Δ$), demonstrating that non-zero divergence is critical for effective scaling. Building on this insight, we propose a staged synthesis pipeline that repurposes existing datasets as seeds, actively targeting student failure modes to produce better prompts. The result is DeltaPrompts, a diverse dataset of 200k synthetic, high-divergence reasoning problems. We evaluate DeltaPrompts across three distinct settings: on-policy distillation with the target teacher-student pair, transfer to a novel model family without regenerating the data, and off-policy fine-tuning of a non-reasoning model. Across all scenarios, DeltaPrompts drives substantial gains, yielding up to 15% relative improvement even on top of a highly-optimized reasoning model (e.g., Qwen3-VL-8B-Thinking) -- averaged over 10 benchmarks spanning chart, document and perception-centric reasoning.