이미지 복원을 위한 관계 다양체 기반 플로우맵 증류

Flow-Map Distillation on Relation Manifolds for Image Restoration

이미지 복원을 위한 지식 증류는 일반적으로 교사 네트워크와 학생 네트워크 간의 중간 특징 또는 관계 행렬을 정적인 목표 값으로 맞추는데, 이는 지식 전달 과정의 동적 구조를 고려하지 않습니다. 본 논문에서는 관계 기반 지식 전달을 관계 다양체 상의 연속적인 플로우 매핑 문제로 재구성하는 Flow-Map Distillation on Relation Manifolds (FoRM)을 제안합니다. FoRM은 학생 네트워크와 교사 네트워크 간의 고정된 속도장을 회귀시키는 대신, 현재 상태 t에서 임의의 목표 시간 s에서의 관계 상태를 직접 예측하는 플로우 맵 연산자 $\mathcal{F}_\theta(\mathbf{z}, t, s)$을 학습합니다. 이를 통해 더욱 풍부한 경로 수준의 지도 신호를 제공할 수 있습니다. 학습된 플로우 맵의 전역적 자기 일관성을 보장하기 위해, 우리는 실제 값으로 구성된 중간 상태를 사용하여 합성 일관성을 강제하는 안전한 반군(semigroup) 일관성 제약을 도입하여 가상 상태 오류 축적을 방지합니다. 또한, 엔드포인트 앵커링 손실은 연산자가 교사 네트워크의 목표에서 벗어나는 것을 방지합니다. 고해상도 복원, 비 이미지 제거, 노이즈 제거, 흐릿함 제거 및 저조도 향상 등 5가지 이미지 복원 작업에 대한 광범위한 실험 결과는 다양한 기본 구조에서 최첨단 증류 모델을 능가하는 성능을 보여주며, 단순한 플로우 매칭 증류 방법에 비해 학습 변동성을 약 50% 줄이면서 더 우수한 복원 품질을 달성합니다.

Knowledge distillation for image restoration typically aligns intermediate features or relation matrices between teacher and student networks as static targets, ignoring the dynamic structure of the knowledge transfer process. In this paper, we propose Flow-Map Distillation on Relation Manifolds (FoRM), which reformulates relation-based knowledge transfer as a continuous flow mapping problem on the relation manifold. Rather than regressing a constant velocity field between student and teacher relation states, FoRM learns a flow map operator $\mathcal{F}_θ(\mathbf{z}, t, s)$ that directly predicts the relation state at any target time $s$ given the current state at time $t$, enabling richer trajectory-level supervision. To ensure global self-consistency of the learned flow map, we introduce a safe semigroup consistency constraint that enforces compositional agreement using ground-truth bridge states, eliminating phantom-state error accumulation. An endpoint anchoring loss further prevents the operator from drifting away from the teacher target. Extensive experiments on five image restoration tasks, including super-resolution, deraining, denoising, deblurring, and low-light enhancement, demonstrate consistent gains over state-of-the-art distillation baselines across multiple backbone architectures, reducing training variance by approximately 50\% compared to naive flow matching distillation while achieving superior restoration quality.