ENCORE: 이벤트 기반 보완적 모션 정제 기법을 이용한 학습 기반 비디오 압축

ENCORE: Event-Assisted Complementary Motion Refinement for Learned Video Compression

학습 기반 비디오 압축은 인접 프레임 간의 중복성을 제거하기 위해 정확한 시간 모델링에 의존합니다. 그러나 대부분의 기존 코덱은 샘플링된 RGB 프레임에서만 모션을 추정하며, 이는 빠른 움직임, 블러, 가려짐, 약한 텍스처, 낮은 조명 및 갑작스러운 밝기 변화에 취약합니다. 이벤트 카메라는 RGB 타임스탬프 간의 미세한 강도 변화를 비동기적으로 캡처하므로 프레임 간 동역학에 대한 보완적인 정보를 제공합니다. 본 논문에서는 학습 기반 비디오 압축을 위한 이벤트 기반 보완적 모션 정제 프레임워크인 ENCORE를 제안합니다. ENCORE는 먼저 보완적 모션 표현(CMR)을 사용하여 정렬된 RGB-이벤트 특징을 공통 및 모달리티별 모션 표현으로 분해합니다. 공간 에너지 및 중복성 기반 교정(SERIC)은 이벤트에서 발생하는 반응 중에서 RGB와 비교하여 활성화되고 새로운 반응을 식별하고, 약하거나 중복되는 정보를 억제하며, 후보 흐름 보정을 예측합니다. 마지막으로 에너지 기반 라우팅(EAR)은 보정이 어디에서 얼마나 강하게 RGB 흐름을 정제해야 하는지를 결정합니다. 이벤트는 모션 모델링에 대한 보조 모달리티로만 사용되며, RGB는 유일한 코딩 및 복원 대상입니다. BS-ERGB, HQ-EVFI 및 CED 데이터 세트에 대한 실험 결과, ENCORE는 다양한 데이터 세트와 GOP 길이에서 일관된 성능 향상을 보여주었습니다. BS-ERGB에서 ENCORE는 최대 20.80%의 PSNR-RGB 및 22.14%의 MS-SSIM-RGB BD-rate 절감 효과를 달성했으며, 다른 두 데이터 세트에서도 명확한 개선 효과를 유지했습니다.

Learned video compression relies on accurate temporal modeling to remove redundancy between adjacent frames. However, most existing codecs infer motion solely from discretely sampled RGB frames, making their estimates vulnerable to fast motion, blur, occlusion, weak texture, low illumination, and abrupt brightness changes. Event cameras asynchronously capture fine-grained intensity changes between RGB timestamps and therefore provide complementary evidence about inter-frame dynamics. We propose ENCORE, an Event-Assisted Complementary Motion Refinement framework for learned video compression. ENCORE first employs Complementary Motion Representation (CMR) to decompose aligned RGB-event features into common and modality-specific motion representations. Spatial Energy and Redundancy-Informed Calibration (SERIC) then identifies event-specific responses that are active and novel relative to RGB, suppresses weak or redundant evidence, and predicts a candidate flow correction. Finally, Energy-Aware Routing (EAR) determines where and how strongly the correction should refine the RGB flow. Events serve solely as an auxiliary modality for motion modeling, while RGB remains the only coding and reconstruction target. Experiments on BS-ERGB, HQ-EVFI, and CED demonstrate consistent gains across datasets and GOP lengths. On BS-ERGB, ENCORE achieves up to 20.80% PSNR-RGB and 22.14% MS-SSIM-RGB BD-rate savings, while retaining clear improvements on the other two datasets.