Any-OPD: 표현 공간 연결을 통한 흐름 매칭 모델의 이종 온라인 정책 증류

Any-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space Bridging

온라인 정책 증류는 교사 모델이 학습 모델 자체에서 생성한 샘플을 수정하는 방식으로, 두 모델이 동일한 언어를 사용한다고 가정합니다. 즉, 동일한 VAE 잠재 공간, 일치하는 아키텍처 및 공통 타임스텝 그리드를 필요로 합니다. 본 연구에서는 이러한 가정이 모두 충족되지 않는 경우, 즉 가장 강력한 교사 모델과 학습하고자 하는 모델이 서로 다른 모델 계열에서 왔을 때 어떤 일이 발생하는지 살펴봅니다. 실험 결과, 표준적인 방법으로는 해결할 수 없는 문제가 발생했습니다. 교사 모델의 잠재 벡터를 외국 좌표계에서의 목표 값으로 사용할 수 없으며, 교사 모델이 확률적으로 로컬 디테일을 재구성할 때 발생하는 픽셀 단위 손실은 흐릿함 또는 발산으로 이어집니다. 또한 타임스텝 인덱스는 일치하지 않는 스케줄에서 의미를 잃게 됩니다. 본 연구에서는 임의의 잠재 공간 흐름 매칭 생성기 쌍 간의 온라인 정책 증류를 위한 최초의 프레임워크인 Any-OPD를 제안합니다. Any-OPD는 교사 모델을 블랙박스 샘플러로만 취급하고, 두 모델을 단 하나의 지점에서 연결합니다. 이 지점은 독립적으로 디코딩된 출력 결과를 비교하는 고정되고 모델에 독립적인 시각적 표현이며, 잠재 벡터, 특징 또는 아키텍처에 대한 모든 가정을 회피합니다. Any-OPD는 픽셀 인덱스 대신 연속적인 노이즈 레벨을 매칭하여 경로 일관성을 복원하고, 교사 샘플을 학습 모델의 자체 VAE를 통해 재인코딩하는 짧은 초기화 단계에서 온라인 그래디언트가 도메인 불일치가 아닌 샘플 품질을 측정하도록 보장합니다. Any-OPD를 사용하여 120억 파라미터의 FLUX.1-dev 모델을 25억 파라미터의 SD3.5-Medium 모델로 증류한 결과, 학습 모델의 PickScore가 0.846에서 0.884로, HPSv3 점수가 9.12에서 10.97로 향상되었습니다. 이는 교사 모델과 동등한 성능을 보이면서도 크기가 5분의 1에 불과하며, 직접적인 잠재 벡터 회귀로는 학습 자체가 불가능한 경우에도 효과적입니다.

On-policy distillation, in which a teacher corrects samples that the student itself generates, presupposes that the two models speak the same language: identical VAE latents, matching architectures, and a common timestep grid. We ask what happens when none of this holds, as when the strongest teacher available and the student one wishes to deploy come from different model families, and find that the standard recipes have no answer: teacher latents cannot serve as targets in a foreign coordinate system, per-pixel losses against a teacher that stochastically re-draws local detail degenerate into blur or divergence, and timestep indices lose their meaning across mismatched schedules. We present Any-OPD, to our knowledge the first framework for on-policy distillation between arbitrary pairs of latent flow-matching generators. Any-OPD treats the teacher purely as a black-box sampler and connects the two models at exactly one point: a frozen, model-agnostic vision representation in which their independently decoded outputs are compared, sidestepping every assumption about latents, features, or architecture. Trajectory correspondence is recovered by matching continuous noise levels instead of step indices, and a brief anchoring phase, in which teacher samples are re-encoded through the student's own VAE, ensures the on-policy gradient measures sample quality rather than domain mismatch. Distilling the 12B FLUX.1-dev into the 2.5B SD3.5-Medium, Any-OPD lifts the student's PickScore from 0.846 to 0.884 and HPSv3 from 9.12 to 10.97, rivaling the teacher at a fifth of its size, where direct latent regression fails to train at all.