EvBS: 이벤트 기반 블러 합성 - 도메인 적응 모션 디블러링을 위한 방법

EvBS: Event-guided Blur Synthesis for Domain-adaptive Motion Deblurring

딥러닝 기술의 발전으로 모션 디블러링은 상당한 발전을 이루었지만, 사전 학습된 디블러링 모델은 종종 훈련 및 테스트 데이터 분포 간의 차이로 인해 실제 환경에서 성능 저하를 겪습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 EvBS라는 이벤트 기반 블러 합성 프레임워크를 제안합니다. 이 프레임워크는 사전 학습된 모델을 대상 도메인에 맞춰 조정하기 위한 다양한 훈련 데이터 쌍을 생성합니다. 기존 방법들은 움직임과 시각적 콘텐츠 간의 내재적인 연관성 때문에 제약을 받지만, 저희 방법은 이벤트 카메라의 높은 시간 해상도를 활용하여 이러한 요소를 효과적으로 분리합니다. 이를 통해 주어진 콘텐츠에 내재된 고유한 움직임뿐만 아니라 대상 도메인 내의 다양한 소스로부터 전달되는 외부 움직임을 모두 활용하여 미세 조정(fine-tuning)을 통한 효과적인 적응이 가능하도록 합니다. 구체적으로, EvBS는 두 가지 상호 보완적인 전략으로 구성됩니다: 첫째, '고유 블러 합성(Intrinsic-Blur Synthesis)'은 콘텐츠의 고유한 움직임 패턴에 따라 선명한 이미지를 흐리게 처리합니다. 둘째, '외부 블러 합성(Extrinsic-Blur Synthesis)'은 흐릿한 영역에서 움직임을 추출하여 다른 선명한 콘텐츠로 전달합니다. 이러한 접근 방식은 자연적으로 결합된 움직임과 콘텐츠의 제약을 극복하는 다양한 훈련 데이터 쌍을 생성하여 도메인 적응 디블러링 성능을 향상시킵니다. 여러 벤치마크를 사용한 광범위한 실험 결과, EvBS는 기존 디블러링 모델의 강건성을 향상시켜 알려지지 않은 테스트 데이터셋에서도 우수한 성능을 발휘함을 보여줍니다.

Motion deblurring has achieved remarkable progress with deep learning, yet pre-trained deblurring models often suffer from performance degradation in real-world scenarios due to the domain shift between training and testing distributions. To remedy this, we propose EvBS, an event-guided blur synthesis framework that generates diverse training pairs for calibrating pre-trained models to the target domain. While existing methods are constrained by the inherent entanglement between motion and visual content, our method leverages the high temporal resolution of event cameras to effectively decouple them. This enables us to utilize not only the intrinsic motion that is inherent to the given content but also extrinsic motion transferred from different sources within the target domain, thereby facilitating effective adaptation via fine-tuning. Specifically, EvBS comprises two complementary strategies: Intrinsic-Blur Synthesis, which blurs sharp contents with their own motion patterns, and Extrinsic-Blur Synthesis, which transfers motion from blurry patches to distinct sharp content. This approach generates a diverse set of training pairs that break the inherent constraints of naturally coupled motion and content, resulting in enhanced domain-adaptive deblurring performance. Extensive experiments on multiple benchmarks demonstrate that EvBS effectively enhances the robustness of existing deblurring models on unseen testing datasets.