광류 학습을 위한 보편적 제약 조건으로서의 삼각형 일관성

Triangular Consistency as a Universal Constraint for Learning Optical Flow

본 논문에서는 네트워크 구조, 지도 방식 및 데이터셋에 독립적으로 적용 가능하며, 이미지 쌍과 다중 프레임 환경 모두에 적용될 수 있는 광류 학습을 위한 근본적인 제약 조건인 '삼각형 일관성'을 제안합니다. 이 간단하면서도 강력한 제약 조건은 두 개의 광류를 결합하여 세 번째 광류를 유도하고, 이 세 광류 간의 일관성을 강제하는 방식입니다. 결합된 광류는 (i) 이미지 쌍으로부터 주기적 일관성을 생성하거나, (ii) 여러 비디오 프레임으로부터 시간적 연결을 통한 장거리 운동을 생성하거나, (iii) 제어된 합성 변환과 함께 이미지 쌍을 사용하여 데이터 증강 효과를 얻을 수 있습니다. 이러한 삼각형 일관성은 계산적인 부담이 거의 없으며, 추가적인 어노테이션을 필요로 하지 않습니다. 광류의 기하학적 특성으로부터 직접 파생되었기 때문에, 특정 모델에 대한 가정을 전혀 포함하지 않으며, 광류 학습을 위한 '보편적'이고 즉시 사용 가능한 구성 요소 역할을 합니다. 실험 결과는 지도 학습, 비지도 학습 및 전이 학습 환경에서 일관된 성능 향상을 보여줍니다.

We propose triangular consistency as a first-principled constraint for optical flow, which is agnostic to network architecture, supervision type, and dataset, and applies to both image-pair and multi-frame settings. This simple but powerful constraint is to compose two flows to induce a third flow and enforce consistency among the three. The composed flows may arise from (i) image pairs, yielding cycle consistency; (ii) multiple video frames, producing longer-range motion through temporal chaining; or (iii) image pairs combined with controlled synthetic transformations, which becomes data augmentation. This triangular consistency introduces negligible computational overhead and requires no additional annotations. Since it is derived directly from the geometry of optical flow, it does not rely on model-specific assumptions and serves as a ``universal'' plug-and-play component for optical flow training. Experiments show consistent improvement across supervised, unsupervised, and transfer learning settings.